Telefonda çalışan bir LLM için ne kadar RAM gerekir?

Android'de 0,5B ile 12B parametreli modeller: her boyutun RAM, depolama ve hızda gerçekten neye ihtiyaç duyduğu ve hangisinin telefonunuza uyduğu.

Kısa cevap

Genel kural: boş RAM, modelin dosya boyutuna yakın ve biraz ek paylı olmalıdır. 1 GB'lık bir model yaklaşık 2 GB boş RAM ister; 4 GB'lık bir model ise yaklaşık 6 GB ister. Depolama daha kolaydır: modeller birkaç yüz MB ile yaklaşık 8 GB arasında çalışır.

1 GB altı: her telefon

Küçük 0,5-1B modeller saniyeler içinde yüklenir ve son beş yılın neredeyse her Android cihazında çalışır. Hızlı sorular, yeniden yazma ve otomatik tamamlama tarzı görevler için idealdir.

1-3 GB: ideal aralık

6-8 GB RAM'e sahip orta segment telefonlar bu modelleri rahatça kaldırır. Günlük sohbet, özetleme ve çeviri için yanıt kalitesinin gerçekten akıllı hissetmeye başladığı düzey budur.

4-8 GB: amiral gemi segmenti

Telefona uygun en büyük modeller (8-12B), 8-12+ GB RAM ve yeni bir üst düzey işlemci ister. Yüklemesi ve yanıt vermesi daha yavaştır; ancak cebinize sığan bir bulut modeline en yakın şeydir. Local AI, her modelin boyutunu baştan gösterir; böylece sürpriz yaşamazsınız.