На маленьких телефонах работают модели умнее, чем кажется

Вам не нужен ни самый большой телефон, ни самая крупная модель. Открытые модели до 3B реально полезны в повседневных задачах и помещаются в карманном устройстве.

Маленькое железо, настоящий интеллект

Предположение, что настоящему ИИ нужен самый большой телефон, устарело на год. Важные для повседневного использования открытые модели теперь бывают достаточно маленькими для скромного железа — от 0,5B до 3B параметров, — а компактный или бюджетный телефон с несколькими свободными гигабайтами вполне становится полноценным ИИ-устройством, а не утешительным призом. Секрет никогда не был в размере телефона — решала размер модели.

Почему маленькие модели — идеальный компромисс

Модели меньше 3B — идеальный инженерный компромисс: они достаточно маленькие, чтобы их можно было быстро скачать и шустро запустить, и достаточно большие, чтобы делать выжимки, переводить, писать черновики и хорошо отвечать на повседневные вопросы. Разница между моделями на 2B и 8B важна для сложных рассуждений; а на сотне обычных вопросов, которые вы задаете за день, она в основном отразится на заряде батареи и вашем терпении.

Чем придется пожертвовать

Здесь нужна честность: маленькие модели не осилят рассуждения уровня аспирантуры, а самые трудные задачи по-прежнему требуют гораздо более мощного железа — телефона или облака. Зато вы сохраняете все остальное: быстрые, почти мгновенные ответы, голосового помощника, распознавание изображений с помощью визуальных моделей и то, что каждое введенное вами слово остается на устройстве, ведь модель тоже работает там.

Как маленький телефон становится большим

Local AI берет сортировку на себя: в его браузере моделей сразу показаны размеры, поэтому выберите небольшую модель, один раз скачайте ее по Wi-Fi — и телефон готов. Общайтесь, задавайте вопросы голосом, показывайте фотографии — все офлайн, без аккаунта, на устройстве, которое помещается в карман рубашки. В итоге маленький телефон с достаточно большим ИИ оказывается в самый раз.