想不到ほど賢いモデルが動く、小さなスマホ

最大のスマホや最大のモデルは必要ありません。3B未満のオープンモデルは日常用途に本当に便利で、ポケット端末にも収まります。

小さなハードウェア、本物の知性

本物のAIには最新・最大のスマホが必要だという前提は、1年前も昔の話です。現在、日常で使う価値のあるオープンモデルは、控えめなハードウェアでも動くサイズ、つまり0.5B〜3Bパラメータで提供されています。数GBの空き容量があるコンパクトなスマホや低価格端末は、せめてもの代用品ではなく、実用的なAI端末です。重要なのはスマホの物理的な大きさではなく、モデルの大きさでした。

小型モデルが最適解になる理由

3B未満のモデルは、エンジニアリング上の最適点にあります。すばやくダウンロードでき、軽快に動作する小ささがありながら、要約や翻訳、文章の作成、日々の質問への回答を十分に行える大きさを備えています。2Bモデルと8Bモデルの差は、難しい推論では確かに重要です。しかし、実際に1日に何十も出てくる平凡な質問では、その差はほとんどバッテリー持ちと忍耐心に影響するだけです。

実際に諦めること

ここで正直に言うと、小型モデルが大学院レベルの推論で満点を取ることはありません。最も重い処理には、依然として遥かに高性能なハードウェア——スマホまたはクラウド——が必要です。一方、得られるのはそれ以外のほぼすべてです。瞬時に返答する体感、音声アシスタント、ビジョンモデルによる写真理解、そして入力したすべての語句が端末内にとどまることです。モデルも端末上で動くからです。

小さなスマホを「大きなAI」端末に

Local AIがモデルの選び方を手伝ってくれます。モデルブラウザにはサイズが先に表示されるため、小さいものを選んでWi-Fiで一度ダウンロードすれば、設定は完了です。チャット、音声での質問、写真の表示——すべてオフラインで、アカウント登録も不要。シャツのポケットに収まるハードウェアで、小さなスマホにも十分なAIが。結局、ちょうどよいサイズだったのです。