RAM: Hangi modelleri çalıştırabileceğinizi belirleyen özellik

Cihaz üzerinde yapay zeka RAM'e bağlıdır. 0.5B'den 12B'ye modellerin gerçek bellek ihtiyacı ve Android telefonunuzun rahatça ne çalıştırabileceğini öğrenin.

RAM neden belirleyici özellik?

Bir dil modeli düşünürken bellekte durmalıdır; modelin tamamı yüklenmiş ve çalışmaya hazır olmalıdır. Depolama alanı ne indirebileceğinizi belirler, RAM ise gerçekte neyi çalıştırabileceğinizi. Aynı yongaya sahip iki telefon bu yüzden çok farklı davranabilir: boş belleği daha fazla olan telefon daha büyük ve daha akıllı bir modeli bellekte tutabilir. Bir telefonun 'yapay zekayı çalıştıramadığı' söylendiğinde genellikle fikirler tükenmeden çok daha önce RAM'in tükendiği kastedilir.

Kaba bir kademelendirme

Genel bir kural olarak, kuantize edilmiş modeller her milyar parametre için yaklaşık 1 GB yer gerektirir; bu hem depolama hem de çalışırken bellek için geçerlidir. 0.5B ile 2B arasındaki modeller neredeyse her modern telefonda rahatça çalışır; 3B ile 4B aralığı orta segment cihazlara uygundur; 7B ile 8B için yeni bir üst segment telefon gerekir; 12B modeller ise amiral gemisi telefonların alanıdır; mümkündür, ancak yalnızca belleğin bol miktarda boş olduğu ve başka hiçbir şeyin onunla rekabet etmediği durumda.

Mevcut imkânları kontrol etmek

Android, toplam RAM miktarını Ayarlar > Telefon Hakkında bölümünde gösterir; ancak asıl önemli olan sohbet ettiğiniz anda boş olan RAM'dir. Kısa bir deneyim, teknik özellik tablosundan daha işe yarar: Local AI'yı kurun, önce küçük bir model indirin; pratikte her şeyde çalışır; ardından bir boyut büyütün ve yanıtların akıcı kalıp kalmadığını izleyin. Uygulama başka bir uygulamaya geçtiğinizde takılıyor ya da yeniden yükleniyorsa telefonunuzun rahatça çalıştırabileceği üst sınırı bulmuşsunuzdur; daha küçük modeller bu sınırın altında sorunsuz çalışır.

Daha fazla nefes payı çıkarmak

Her zaman daha fazla donanıma ihtiyacınız yoktur; bazen sadece daha az oda arkadaşına. Uzun bir oturumdan önce ağır uygulamaları kapatın, telefonu ara sıra yeniden başlatarak birikmiş belleği temizleyin ve hızlı sorular için küçük modeli tercih edin; böylece büyük model yalnızca gerçekten gerekli olduğunda yüklenir. Bir de bakış açısını koruyun: iyi bir prompt ile yönlendirilen 3B model, günlük soruları çok başarılı bir şekilde yanıtlar. Daha fazla RAM, daha büyük modeller için nefes payı sağlar; telefonunuzda yapay zekadan keyif almak için ise bir zorunluluk değildir.