用途に合うモデルサイズの見つけ方

0.5Bと12B、どちらを選ぶ？ モデルサイズは速度、知性、端末で動かせるかどうかを決めます。用途に合うサイズをわかりやすく解説します。

「パラメータ」とは何か

モデルのサイズ（0.5B、3B、7B、12B）は、学習で得たすべてを符号化するパラメータの数を表します。パラメータが多いほど、事実、微妙な言い回し、言語能力を表現する余地が増えますが、ファイルも大きくなり、1語を生成するたびに必要となる計算も重くなります。モデルの語彙、記憶、練習量を1つの数字にまとめたものと考えてください。賢さの目安であり、それを発揮するために必要なハードウェアの目安でもあります。

サイズを用途に合わせる

要約、返信、リスト作成、日常的な質問など、軽い作業では、最小サイズを大きく超えてもほとんど効果がありません。0.5B〜3Bのモデルでほぼ即座に答えられます。複数ステップの推論、丁寧な長文作成、確信满满的だが誤った回答が代价が大きいテーマでは、7B以上に切り替えましょう。すべての作業に1つのサイズを当てるのは誤りです。小さいモデルは劣ったモデルではなく、日常的な質問では素早い専門家です。

大きくする代償

大きさは3つの形でコストを請求します。ダウンロード容量（12Bモデルは7GBを超えることがあります）、応答開始までの時間（大きいモデルほど起動に時間がかかる）、ハードウェアの要求（フラッグシップのRAMと発熱するチップ）。回答の質がそれを上回れば、どれも致命的な問題ではありません。しかし返事が遅すぎるなら、「賢い」モデルのほうが実用的には劣ります。最高のモデルは、待てる時間のモデルだからです。

無料で試す

選び方を正直に言えば実測です。Local AIを使えば、安く試せます。0.5B〜12Bのオープンモデルは、モデルブラウザーで無料ダウンロードできます。2〜3種類のサイズを入れ、それぞれに実際の質問（ベンチマークではなく、あなたが本当に使うプロンプト）を投げ、答えに満足する最小サイズを残してください。ダウンロード後はすべてオフラインで動くので、試験にかかるのは数分とストレージ容量だけです。