L'ingegneria che comprime la diffusione su mobile

I modelli di diffusione nascono per GPU di data center. Ecco come un motore reale viene ridotto per girare nativamente su smartphone e i suoi compromessi.

Cosa fa davvero un modello di diffusione

Un modello di diffusione crea un'immagine partendo da puro rumore ed eliminandolo passo dopo passo. Ogni passo esegue la rete una volta: prevede una versione dell'immagine leggermente più pulita e, dopo un numero sufficiente di passi, rimane un'immagine coerente. È questo ciclo a rendere la diffusione così esigente in termini di calcolo: per un singolo risultato il modello completo viene eseguito decine di volte, non una sola come avviene con un classificatore.

Il problema delle dimensioni

Questi modelli sono stati progettati per schede con ventole e cavi di alimentazione dedicati. Un modello di diffusione a piena precisione può occupare diversi gigabyte, e ogni passo di denoising rilegge quei pesi dalla memoria. Su uno smartphone, sia lo spazio di archiviazione sia la larghezza di banda della memoria sono risorse limitate: copiare per intero una pipeline desktop non avrebbe mai potuto funzionare.

Come viene ridotto

Lo strumento principale è la quantizzazione: memorizzare i pesi del modello a 8 o persino 4 bit anziché a 16 o 32, riducendolo a una frazione delle dimensioni originali mantenendo gran parte delle sue capacità. Abbinandoci un motore di inferenza nativo scritto per CPU e GPU mobili, risoluzioni predefinite sensate e numeri di passi ottimizzati, un carico di lavoro da data center si riduce a qualcosa che un chip tascabile è in grado di elaborare.

I compromessi onesti

Modelli quantizzati più piccoli e meno passi significano che la diffusione su mobile sacrifica un po' di nitidezza e parte della capacità dei modelli più grandi di seguire prompt in modo elaborato. La generazione richiede da pochi secondi a circa un minuto, invece dei risultati quasi istantanei di un parco di server: serve un po' di pazienza, non magia. In cambio, l'intera pipeline viene eseguita dove l'idea è nata, senza caricamenti né code di attesa.

Dove viene eseguito in modo nativo

OIG è costruito esattamente su questo principio: un vero motore di diffusione che gira nativamente sullo smartphone, non un'API cloud travestita. Si inserisce un prompt e si ottiene un'immagine, tutto calcolato sul dispositivo: lo stesso ciclo di denoising che eseguirebbe un desktop, adattato all'hardware mobile. Per la generazione di immagini, è la differenza tra avere lo strumento in proprio e accontentarsi di una visione fugace.