Rekayasa yang memadatkan model diffusi agar muat di ponsel

Model diffusi dirancang untuk GPU pusat data. Begini cara mesin diffusi diperkecil agar berjalan secara native di ponsel, serta apa saja komprominya.

Sebenarnya apa yang dilakukan model diffusi

Model diffusi membuat gambar dengan memulai dari derau murni lalu menghilangkannya secara bertahap. Setiap langkah menjalankan jaringan sekali: model memprediksi versi gambar yang sedikit lebih bersih, dan setelah cukup banyak langkah, tersisa gambar yang koheren. Siklus inilah yang membuat diffusi sangat boros komputasi—model penuh dijalankan puluhan kali untuk satu output, bukan sekali seperti pada model klasifikasi.

Masalah ukuran

Model-model ini dirancang untuk kartu grafis dengan kipas dan kabel daya khusus. Model diffusi presisi penuh bisa berukuran beberapa gigabyte, dan setiap langkah denoising harus membaca bobot tersebut dari memori lagi. Di ponsel, kapasitas penyimpanan dan bandwidth memori sama-sama terbatas—jadi menyalin seluruh alur kerja desktop tidak akan pernah berhasil.

Bagaimana model diperkecil

Alat utamanya adalah kuantisasi: menyimpan bobot model pada 8 atau bahkan 4 bit, bukan 16 atau 32 bit. Ukurannya menjadi jauh lebih kecil tanpa kehilangan sebagian besar kemampuan model. Gabungkan dengan mesin inferensi native yang ditulis khusus untuk CPU dan GPU ponsel, resolusi default yang wajar, serta jumlah langkah yang dioptimalkan, dan beban kerja pusat data berubah menjadi tugas yang mampu ditangani chip saku.

Kompromi yang jujur

Model kuantisasi yang lebih kecil dan jumlah langkah yang lebih sedikit membuat diffusi di ponsel mengorbankan sedikit ketajaman serta kemampuan mengikuti prompt yang rumit seperti yang bisa dilakukan model terbesar. Pembuatan gambar memerlukan beberapa detik hingga sekitar satu menit, bukan hasil nyaris instan dari server—berkesabaran yang wajar, bukan sihir. Sebagai gantinya, seluruh alur kerja berjalan di tempat ide itu muncul, tanpa unggahan dan tanpa antrean.

Tempatnya berjalan secara native

OIG dibangun persis untuk ini: mesin diffusi sungguhan yang berjalan secara native di ponsel, bukan API cloud yang menyamar. Masukkan prompt, dapatkan gambar, dan semuanya dihitung di perangkat—siklus denoising yang sama seperti yang dijalankan desktop, tetapi disesuaikan dengan perangkat keras mobile. Untuk pembuatan gambar, ini adalah perbedaan antara memiliki alatnya sendiri dan sekadar menyewa bayangannya.