I piccoli telefoni fanno girare modelli più intelligenti di quanto pensi

Non serve il telefono più grande né il modello più grande. I modelli open sotto i 3B sono utili per ogni giorno e stanno in un dispositivo tascabile.

Hardware piccolo, intelligenza reale

L'idea che per avere una vera AI serva il telefono più grande è vecchia di un anno. I modelli open che contano nell'uso quotidiano oggi arrivano in dimensioni abbastanza compatte da stare su hardware modesto: da 0,5B a 3B parametri. Un telefono compatto o economico con qualche gigabyte libero è un dispositivo AI a tutti gli effetti, non una soluzione di ripiego. Il trucco non è mai stata la dimensione del telefono, ma quella del modello.

Perché i modelli minuscoli sono il punto ideale

I modelli sotto i 3B sono il punto ideale dell'ingegneria: abbastanza piccoli da scaricare in fretta e far girare velocemente, abbastanza grandi da riassumere, tradurre, redigere e rispondere bene alle domande di ogni giorno. La differenza tra un modello da 2B e uno da 8B conta nei ragionamenti difficili; sulle centinaia di domande ordinarie che si presentano in una giornata, il divario si nota soprattutto nella durata della batteria e nella tua pazienza.

Cosa rinunci davvero

Qui serve onestà: i modelli minuscoli non eccelleranno nei ragionamenti di livello universitario, e le attività più impegnative restano affidate a hardware molto più potente, che sia un telefono o il cloud. Però conservi tutto il resto: risposte istantanee, un assistente vocale, la comprensione delle foto tramite modelli di visione e il fatto che ogni parola che scrivi resta sul dispositivo, perché anche il modello vive lì.

Far sembrare grande un piccolo telefono

Local AI fa il lavoro di selezione al posto tuo: il suo browser dei modelli mostra subito le dimensioni, così scegline uno piccolo, scaricalo una volta via Wi-Fi e il telefono è pronto. Usa la chat, fai domande a voce, mostrale le tue foto: tutto offline, senza account, su hardware che entra in una tasca della camicia. Un piccolo telefono con un'AI abbastanza potente si rivela, alla fine, proprio della misura giusta.