Ogni parola ricordata paga il canone

La finestra di contesto non è memoria gratuita: ogni token occupa RAM come vettori chiave e valore in cache. I calcoli e come ridurre il conto.

A cosa serve la cache

Un transformer risponde a una parola guardando indietro a tutto ciò che è già stato detto, e il meccanismo che glielo permette è una coppia di vettori, detti chiave e valore, calcolati per ogni token a ogni livello. Ricalcolarli per l'intera chat a ogni nuova parola sarebbe lentissimo, quindi il modello li conserva in memoria. La KV cache è esattamente quell'insieme di vettori archiviati: è ciò che «ricordare» significa fisicamente dentro un LLM.

L'aritmetica del ricordare

Il costo per token dipende dall'architettura: due tensori, uno per la chiave e uno per il valore, a ogni livello. Su un classico modello 7B memorizzato a 16 bit, si tratta di circa mezzo megabyte per token: una conversazione da 4.000 token aggiunge quindi circa 2 GB oltre ai pesi del modello. I modelli moderni con attenzione a query raggruppate condividono le testate di chiave e valore e riducono il conto da quattro a otto volte, ma la regola non cambia: la cache cresce linearmente e il contatore gira per tutta la chat.

Perché il consumo di memoria cresce

Durante una conversazione la cache può solo crescere: nulla viene eliminato finché la finestra non si riempie o non riavvii la sessione. Ne nasce il sintomo classico: lo stesso modello sullo stesso telefono gestisce bene una chat breve, ma su una lunga si blocca o va in crash. Un modello grande con contesto esteso può dedicare più RAM alla cache che ai propri pesi: ecco perché la dimensione del contesto è un'impostazione di memoria, non un cursore di comodità.

Le leve che la riducono

Quattro parametri controllano la dimensione della cache: la dimensione del modello, perché i modelli più piccoli hanno meno livelli e vettori più piccoli per token; il limite di contesto, che fissa quanti token si possono ricordare contemporaneamente; la quantizzazione della cache, che memorizza i vettori a 8 bit anziché a 16 con un lieve calo di qualità; e la lunghezza della conversazione, l'unico che puoi modificare a chat già avviata.

Abitudini che tengono basso il contatore

Il piano pratico segue direttamente dai conti: mantieni le sessioni mirate invece di far accumulare tutto in una sola chat e, quando una sessione lunga inizia a peggiorare, chiedi un riepilogo di ciò che conta e riparti da quello con una conversazione nuova. Scegliere un modello più piccolo riduce inoltre l'affitto per token: un modello compatto con un contesto moderato è la combinazione che permette a un telefono di uso comune di ospitare un assistente davvero capace di lavorare a lungo.