オープンなLLMの重みがスマホで動く

オープンなモデル重みがゲームを変えました。クラウドチャットボットと同種のAIモデルがAndroidスマホで直接動きます。その方法を解説。

オープン重みが実際に意味すること

クラウドチャットボットは回答を貸してくれます。オープン重みモデルはモデルファイルそのものを渡します。Llamaがこの考えを広め、Qwen、Gemma、Phi、LFMなどのファミリーが続きました。どこでもダウンロードして動かせる小さなモデルです。

スマホに必要なもの

3つです。モデルを実行するアプリ、デバイスに合ったサイズのモデルファイル、十分な空きRAM。0.5Bパラメータのモデルは控えめなスマホでも動き、12Bモデルはフラッグシップ級と十分なストレージを欲しがります。

楽な道筋

Local AI が配管を全部やります。ワンタップでダウンロードできるモデルブラウザ、そのあとはインストールしたモデルとのストリーミングチャット。ダウンロード後はインターネットもアカウントもサーバーもループに入りません。

期待値の設定

スマホサイズのモデルは、下書き、要約、アイデア出し、会話が輝きます。データセンターの全部ができるわけではありません。小さなモデルから始めて、品質と速度がちょうど良く感じるところまで上げていきましょう。