Un download più grande significa risposte migliori?

Un modello da 0,5B risponde in un istante; uno da 12B ragiona meglio, ma richiede hardware di punta. Cosa cambia davvero su un telefono e come scegliere.

Cosa significa «dimensione» nella pratica

Il numero di parametri di un modello equivale all'incirca alla sua capacità di memoria: più parametri significano più fatti e sfumature memorizzati, ma anche un file più grande e un carico più pesante per il chip del telefono. I modelli sul dispositivo vanno da circa 0,5B di parametri, qualche centinaio di megabyte, fino a 12B, che possono superare i sette gigabyte. La dimensione determina sia ciò che il modello può fare sia se il telefono è in grado di ospitarlo.

Cosa sanno fare bene i modelli piccoli

I modelli piccoli sono veloci. Un modello da 0,5B a 3B inizia a rispondere quasi all'istante, anche su hardware di fascia media, consuma poca batteria e lascia libera la RAM per tutto il resto sul telefono. Per email brevi, riassunti rapidi, elenchi e domande casuali, un modello piccolo spesso risponde altrettanto bene quanto uno grande, solo prima. La velocità è una funzionalità, e i modelli piccoli ne sono i veri protagonisti.

Cosa aggiungono i modelli più grandi

Oltre i 7B, le risposte diventano di solito più ricche: ragionamento migliore sulle domande in più parti, scrittura più attenta e meno errori commessi con sicurezza. Il costo è concreto, però: i download diventano pesanti, le risposte impiegano più tempo ad arrivare e un modello da 12B vuole un modello di punta recente con memoria a sufficienza. I modelli grandi sono indicati quando la qualità conta più della velocità e l'hardware è in grado di sostenerli.

Una semplice scala di scelta

Inizia dal basso: scarica un modello da 1B-3B in Local AI e usalo per un giorno. Se le risposte ti sembrano superficiali, sali di un gradino e ripeti la prova. La maggior parte delle persone si trova nel mezzo: abbastanza grande per una prosa di buon livello, abbastanza piccolo da restare scattante. Poiché ogni modello è un download gratuito, trovare la misura giusta non costa nulla, solo qualche minuto.