拡散モデルをモバイル端末に収める技術

拡散モデルはデータセンターのGPU向けに生まれました。実際の拡散エンジンをスマートフォンでネイティブに動かすための縮小手法と、そのトレードオフを紹介します。

拡散モデルが実際に行うこと

拡散モデルは、純粋なノイズから出発し、それを段階的に取り除いて画像を作ります。各ステップでネットワークが1回実行され、画像のよりノイズの少ない状態を予測します。十分なステップを重ねれば、整合性のある画像が残ります。このループこそが拡散モデルの計算コストの高さの理由です。分類器のように1回で終わるのではなく、1つの出力を得るためにフルモデルを数十回も動かす必要があるからです。

サイズの問題

これらのモデルは、ファンと専用の電源コードを備えたグラフィックスカード向けに設計されました。フル精度の拡散モデルは数ギガバイトに達することもあり、各ノイズ除去ステップで重みをメモリから読み込みます。スマートフォンではストレージとメモリ帯域はどちらも限りがちなため、デスクトップ用パイプラインをそのまま移植しても現実には通用しません。

どのように縮小されるか

主な手法は量子化です。モデルの重みを16ビットや32ビットではなく8ビット、あるいは4ビットで保存し、サイズを大幅削減しても性能の大部分を維持します。モバイルのCPUとGPU向けに書かれたネイティブ推論エンジン、適切な標準解像度、調整されたステップ数を組み合わせれば、データセンター級の処理負荷が、ポケットの中のチップで扱えるものになります。

現実的なトレードオフ

小さく量子化したモデルと少ないステップ数では、モバイル拡散は、最大モデルの持つ鮮明さや高度なプロンプト指示への追従の一部を手放します。生成には数秒から1分程度かかり、サーバーファームが返すほぼ瞬時の結果には届きません。魔法のようには瞬時には得られませんが、常识的な待ち時間で受け取れる範囲です。その代わり、アイデアが生まれた場所でパイプライン全体が動くため、アップロードも待ち行列もありません。

ネイティブで動く場所

OIGはまさにこの考え方に基づいて設計されています。クラウドAPIをトレンチコートで偽装するのではなく、実際の拡散エンジンをスマートフォン上でネイティブに実行します。プロンプトを入力すれば画像が出力され、すべての計算はデバイス上で行われます。デスクトップと同じノイズ除去ループを、モバイルのハードウェアに合わせて組み込んだものです。画像生成において、これはツールを自分のものにするか、その一部を借りるかの違いになります。