Открытые веса LLM, работающие на твоём телефоне

Открытые веса моделей изменили игру: те же породы ИИ-моделей, что стоят за облачными чат-ботами, теперь работают прямо на Android — вот как.

Что реально значат открытые веса

Облачный чат-бот сдаёт тебе ответы в аренду; модель с открытыми весами отдаёт тебе сам файл модели. Llama популяризировала идею, а семейства вроде Qwen, Gemma, Phi и LFM подхватили — маленькие модели, которые можно скачать и запустить где угодно.

Что нужно твоему телефону

Три вещи: приложение, которое запускает модели, файл модели под твоё устройство и достаточно свободной ОЗУ. Модели от 0.5B параметров работают на скромных телефонах; модели на 12B хотят флагманское железо и много места.

Простой путь

Local AI делает всю обвязку за тебя: каталог моделей со скачиванием в один тап, затем стриминг-чат с тем, что установил. После скачивания — ни интернета, ни аккаунта, ни сервера в цикле.

Правильные ожидания

Модель размером с телефон блистательна в черновиках, саммари, брейнштормах и разговоре — но не во всём, что может дата-центр. Начни с маленькой модели и повышай, пока качество и скорость не устроят.