Perché il tuo telefono può ospitare un cervello

Q4, Q8, K_M: i nomi dei file dei modelli sembrano rumore. La quantizzazione comprime gli LLM abbastanza da farli funzionare su un telefono, in parole semplici.

Il problema delle dimensioni che nessuno poteva ignorare

Un modello linguistico è un file di numeri: miliardi di pesi, ciascuno memorizzato come un valore. A piena precisione, un modello di dimensioni medie occupa decine di gigabyte: assurdo per un portatile, impossibile per un telefono. La quantizzazione è la soluzione su cui si è convergito in tutto il mondo della Local AI: memorizzare ogni numero con meno precisione riduce drasticamente il file, a un costo che si è rivelato sorprendentemente contenuto.

Cosa significano davvero Q4 e Q8

Il numero Q indica i bit per peso: Q8 usa 8 bit per numero, Q4 ne usa 4, dimezzando ulteriormente la dimensione del file. Meno bit significano un modello più piccolo e veloce, e una conoscenza un po' più sfocata, come una foto a risoluzione inferiore che perde i dettagli fini. I suffissi, come K_M, identificano la specifica ricetta di compressione, ma il concetto è semplice: Q4 è la scelta piccola e veloce, Q8 è quella che privilegia la qualità.

Il vero compromesso

La quantizzazione non è gratuita: un modello Q4 è genuinamente un po' meno brillante rispetto alla versione a piena precisione, e il calo si nota di più nei compiti delicati che nelle chat di tutti i giorni. Sorprende quanto poco si perda: un Q4 ben realizzato conserva la stragrande maggioranza delle capacità, occupando solo una frazione dello spazio. È compressione nella maggior parte dei casi indistinguibile dall'originale.

Perché i telefoni funzionano grazie alla quantizzazione

Su un telefono, la quantizzazione non è un'ottimizzazione: è la condizione che rende possibile tutto. Un modello 7B a piena precisione richiede circa 28 GB; in Q4 ne richiede circa 4 GB, la differenza tra «impossibile» e «un'app tra le altre». Tutto ciò che il browser dei modelli di Local AI offre, dai modelli mini da 0.5B alla fascia dei 12B, si basa su questo trucco: è il motivo per cui la Local AI esiste come categoria.

Il consiglio pratico

Quando un modello offre varianti, leggi il numero Q come una manopola: un Q più basso significa meno spazio, meno RAM e più velocità, con una qualità leggermente inferiore. Su dispositivi modesti scegli la quantizzazione più leggera e mantieni le risposte nitide scegliendo prima il modello della misura giusta. Le lettere nel nome del file smettono di sembrare rumore quando capisci che indicano solo quanto il file è stato compresso.