Combien de RAM pour un LLM sur téléphone ?

Modèles de 0.5B à 12B de paramètres sur Android : ce que chaque taille exige en RAM, stockage et vitesse - et lequel convient à ton téléphone.

La réponse courte

Règle simple : RAM libre à peu près égale à la taille du fichier du modèle, plus une marge. Un modèle de 1 Go demande ~2 Go libres ; un de 4 Go en demande ~6. Le stockage est la partie facile : les modèles vont de quelques centaines de Mo à environ 8 Go.

Moins de 1 Go : n'importe quel téléphone

Les minuscules modèles de 0.5-1B chargent en quelques secondes et tournent sur presque tout Android des cinq dernières années. Parfaits pour les questions rapides, la réécriture et les tâches type autocomplétion.

1-3 Go : le sweet spot

Les téléphones milieu de gamme avec 6-8 Go de RAM les gèrent confortablement. C'est là que la qualité des réponses commence à sembler vraiment intelligente pour le chat, les résumés et la traduction du quotidien.

4-8 Go : territoire flagship

Les plus gros modèles adaptés au téléphone (8-12B) réclament 8-12+ Go de RAM et une puce haut de gamme récente. Plus lents à charger et à répondre - mais la chose la plus proche d'un modèle cloud qui tienne dans une poche. Local AI affiche la taille de chaque modèle avant téléchargement.