Сколько ОЗУ нужно LLM на телефоне?

Модели от 0.5B до 12B параметров на Android: сколько каждой реально нужно памяти, места и скорости — и какая подойдёт твоему телефону.

Короткий ответ

Правило большого пальца: свободной ОЗУ примерно столько, сколько весит файл модели, плюс небольшой запас. Модели на 1 ГБ нужно ~2 ГБ свободной памяти; на 4 ГБ — около 6 ГБ. Место на диске — простая часть: модели весят от нескольких сотен МБ до примерно 8 ГБ.

До 1 ГБ: любой телефон

Крошечные модели 0.5–1B загружаются за секунды и работают почти на любом Android последних пяти лет. Отлично для быстрых вопросов, переписывания и задач в стиле автодополнения.

1–3 ГБ: золотая середина

Телефоны среднего класса с 6–8 ГБ ОЗУ тянут их комфортно. Здесь качество ответов начинает ощущаться по-настоящему умным для ежедневного чата, саммари и переводов.

4–8 ГБ: флагманская территория

Самые большие «телефонные» модели (8–12B) хотят 8–12+ ГБ ОЗУ и свежий топовый чип. Дольше загружаются, медленнее отвечают — но это ближайшее к облачной модель, что помещается в карман. Local AI показывает размер каждой модели заранее, так что сюрпризов не будет.