把扩散模型塞进手机的工程学

扩散模型最初为数据中心 GPU 而生。看看真正的扩散引擎如何压缩到手机原生运行，以及需要付出哪些取舍。

扩散模型究竟在做什么

扩散模型生成图像时，先从纯噪声出发，再一步步去噪。每一步都要运行一次网络：预测出稍微清晰一些的图像，经过足够多步后，最终留下的是一张连贯的图像。这个循环正是扩散模型如此耗费算力的原因——生成一张图需要把完整模型运行几十次，而分类器只需跑一次。

体积难题

这些模型原本是为带风扇和独立电源线的显卡设计的。全精度扩散模型动辄数 GB，而每个去噪步骤都要再次从内存中读取这些权重。在手机上，存储空间和内存带宽都是稀缺资源，因此照搬桌面端的整套流程从来行不通。

如何压缩

主要手段是量化：把模型权重从 16 位或 32 位降到 8 位甚至 4 位存储，体积缩小到原来的一小部分，同时保留大部分能力。再配合为移动端 CPU 和 GPU 编写的原生推理引擎、合理的默认分辨率以及调优过的步数，数据中心的工作负载就压缩成了口袋里的小芯片也能轻松应付的任务。

务实的取舍

更小的量化模型和更少的步数，意味着移动端扩散要牺牲一点清晰度，以及最大模型才能驾驭的那些复杂提示词跟随能力。生成耗时从几秒到一分钟左右，比不上服务器集群近乎瞬时的结果——需要一点耐心，而非魔法。换来的是整条流程都在灵感诞生的地方运行，无需上传，也不用排队。

在哪里原生运行

OIG 正是围绕这一点打造：让真正的扩散引擎在手机上原生运行，而不是给云端 API 披件风衣。输入提示词，输出图像，全部在设备端计算——与桌面端相同的去噪循环，只是适配了移动硬件。对于图像生成来说，这是“拥有工具”与“租来一瞥”之间的区别。