Açık LLM ağırlıklarını telefonunuzda çalıştırın

Açık model ağırlıkları her şeyi değiştirdi: bulut sohbet botlarının arkasındaki aynı tür yapay zekâ modelleri artık doğrudan Android telefonlarda çalışıyor. İşte nasıl.

Açık ağırlıklar gerçekte ne demek

Bulut tabanlı bir sohbet botu size yanıtları kiralar; açık ağırlıklı bir model ise model dosyasının kendisini elinize verir. Bu fikri Llama popülerleştirdi; Qwen, Gemma, Phi ve LFM gibi aileler de ardından geldi: her yere indirip çalıştırabileceğiniz küçük modeller.

Telefonunuz neye ihtiyaç duyar

Üç şey gerekir: modelleri çalıştıran bir uygulama, cihazınıza uygun boyutta bir model dosyası ve yeterli boş RAM. 0,5B parametreden başlayan modeller orta seviye telefonlarda çalışır; 12B modeller ise amiral gemisi donanım ve bol depolama alanı ister.

Kolay yol

Local AI işin teknik kısmını sizin yerinize halleder: tek dokunuşla indirme sunan bir model tarayıcısı ve kurduğunuz modelle akış hâlinde sohbet. İndirmeden sonra ne internet gerekir, ne hesap; sunucu da araya girmez.

Beklentileri doğru belirleyin

Telefon boyutundaki bir model taslaklar, özetler, fikir üretme ve sohbet konusunda harika; ama bir veri merkezinin yapabildiği her şeyi değil. Küçük bir modelle başlayın, ardından kalite ve hız sizin için doğru hissedene kadar büyütün.