Quanta RAM serve a un LLM sul telefono?

Modelli da 0,5B a 12B di parametri su Android: cosa richiede davvero ogni dimensione in RAM, spazio e velocità, e quale fa per il tuo telefono.

La risposta breve

Regola pratica: RAM libera circa pari alla dimensione del file del modello, più un piccolo margine. Un modello da 1 GB vuole circa 2 GB liberi; uno da 4 GB ne vuole circa 6. Lo spazio di archiviazione è la parte facile: i modelli vanno da qualche centinaio di MB a circa 8 GB.

Sotto 1 GB: qualsiasi telefono

I minuscoli modelli da 0,5-1B si caricano in pochi secondi e girano su quasi tutti gli Android degli ultimi cinque anni. Ottimi per domande rapide, riscrittura e compiti stile autocompletamento.

1-3 GB: il punto giusto

I telefoni di fascia media con 6-8 GB di RAM li gestiscono comodamente. È qui che la qualità delle risposte inizia a sembrare davvero intelligente per chat, riassunti e traduzioni quotidiane.

4-8 GB: territorio flagship

I modelli più grandi adatti al telefono (8-12B) vogliono 8-12+ GB di RAM e un chip recente di fascia alta. Più lenti a caricarsi, più lenti a rispondere, ma la cosa più vicina a un modello cloud che entra in tasca. Local AI mostra la dimensione di ogni modello in anticipo, così non ci sono sorprese.