Оперативная память: от неё зависит, какие модели вы сможете запускать

ИИ на устройстве живёт за счёт оперативной памяти. Сколько на самом деле нужно моделям от 0.5B до 12B и как проверить возможности Android-телефона.

Почему решает именно оперативная память

Языковая модель должна находиться в памяти, пока «думает», — целиком, загруженная и готовая к работе. Хранилище определяет, что вы можете скачать, но оперативная память — что действительно запустите. Поэтому два телефона с одинаковым чипом могут вести себя совершенно по-разному: в одном с большим объёмом свободной памяти поместится более крупная и умная модель. Когда говорят, что смартфон «не тянет ИИ», обычно это значит, что память закончилась задолго до того, как исчерпались идеи.

Примерная шкала

Как ориентир: квантованным моделям нужно около гигабайта на каждый миллиард параметров — как в хранилище, так и в оперативной памяти во время работы. Модели на 0.5B–2B спокойно работают почти на любом современном телефоне; диапазон 3B–4B подходит для устройств среднего класса; для 7B–8B нужен недавний флагман; а 12B — это уже задача для флагманов: запустить можно, но только при большом объёме свободной памяти и без других требовательных приложений.

Проверяем возможности своего телефона

Android показывает общий объём оперативной памяти в Настройках > О телефоне, но важнее свободная память на момент разговора с моделью. Быстрый эксперимент полезнее характеристик: установите Local AI, сначала скачайте небольшую модель — она запустится практически на чём угодно, — затем перейдите к модели следующего размера и посмотрите, останутся ли ответы плавными. Если приложение начинает подтормаживать или перезагружается при переключении на другое приложение, вы нашли комфортный предел вашего телефона; модели меньшего размера ниже этого предела будут работать прекрасно.

Высвобождаем дополнительную память

Вам не всегда нужно более мощное устройство — иногда достаточно убрать «соседей». Перед долгой сессией закрывайте тяжёлые приложения, периодически перезагружайте телефон, чтобы освободить память от зависших процессов, а для быстрых вопросов выбирайте модель поменьше, чтобы большая загружалась только тогда, когда это действительно оправданно. И не забывайте о перспективе: хорошо сформулированный запрос к модели 3B прекрасно отвечает на повседневные вопросы. Больше оперативной памяти даёт запас для более крупных моделей, а не является условием, без которого ИИ на телефоне невозможен.