Daha büyük bir indirme, daha iyi yanıtlar anlamına mı geliyor?

0.5B model anında yanıt verir; 12B model daha derin düşünür ama amiral gemisi donanım ister. Telefonda hangi boyut fark yaratır ve nasıl seçilir?

Pratikte 'boyut' ne demek?

Bir modelin parametre sayısı kabaca bellek kapasitesidir: daha fazla parametre daha çok bilgi ve nüans barındırır, ama aynı zamanda daha büyük bir dosya ve telefonunuzun çipine daha ağır bir iş yükü demektir. Cihaz üzerinde çalışan modeller yaklaşık 0.5B parametreden birkaç yüz megabayta kadar olanlardan 12B'ye kadar uzanır; 12B modellerin boyutu yedi gigabaytı aşabilir. Boyut hem modelin neler yapabileceğini hem de telefonunuzun onu taşıyıp taşıyamayacağını belirler.

Küçük modellerin güçlü yanları

Küçük modeller hızlıdır. 0.5B ile 3B arasındaki bir model, orta segment donanımda bile neredeyse anında yanıt vermeye başlar, pilinizi az tüketir ve telefonunuzdaki diğer her şey için RAM'i boş bırakır. Kısa e-postalar, hızlı özetler, listeler ve gündelik sorular için küçük model, büyük model kadar iyi yanıt verir — sadece daha çabuk. Hız bir özelliktir ve küçük modeller bu konuda öne çıkar.

Daha büyük modeller ne ekler?

7B'yi aştığınızda yanıtlar genellikle daha zenginleşir: çok parçalı sorularda daha iyi akıl yürütme, daha özenli yazım ve daha az emin hatalar. Ancak bunun bedeli vardır: indirmeler büyür, yanıtların başlaması daha uzun sürer ve 12B model, fazlasıyla belleğe sahip yeni bir amiral gemisi telefon ister. Büyük modeller, hızdan çok kalitenin önemli olduğu ve donanımınızın onlara yetecek güç sağladığı durumlar içindir.

Basit bir boyut merdiveni

Küçük başlayın: Local AI'da 1B-3B arası bir model indirin ve bir gün boyunca kullanın. Yanıtlar sığ geliyorsa bir boyut büyütüp deneyi tekrarlayın. Çoğu kişi orta noktada bulur — iyi bir anlatım için yeterince büyük, hızlı kalmak içinse yeterince küçük. Her model ücretsiz indirildiği için uygun boyutu bulmak yalnızca birkaç dakikanızı harcar.