Pixel 8'de gerçek dil modelleri çalıştırabilirsiniz

Pixel 8 donanımı, büyük modeller için yeterli bellek alanına sahip. Bir dil modelini Pixel'de yerel olarak çalıştırmanın pratikte nasıl göründüğünü keşfedin.

Pixel'ler modelleri neden iyi çalıştırır

Son çıkan Pixel amiral gemileri bol RAM ve modern bir yonga setiyle geliyor; yerel çıkarımın tam olarak ihtiyaç duyduğu iki şey bunlar. Basit bir kural var: boştaki bellek ne kadar fazlaysa daha büyük modeller o kadar rahat çalışır; depolama alanı ise aynı anda kaç modeli indirilmiş tutabileceğinizi belirler. Amiral gemi sınıfındaki bir Pixel her iki konuda da iyi bir konumdadır; bunu zaten ödediğiniz ek kapasite olarak düşünün.

Orta boyutla başlayın, sonra yükselin

Amiral gemi bir telefonda 3-4B parametreli model ideal denge noktasıdır: yanıtlar hızlı gelir, verilen cevaplar da kalitelidir. Local AI'ın yerleşik model tarayıcısı, 0.5B ile 12B parametre arasındaki açık modelleri tek dokunuşla indirme imkânıyla listeler; böylece hızlı başlayıp hız ya da kalite sizi durdurana kadar modeli büyütebilirsiniz. İkinci bir model indirip ikisini yan yana karşılaştırmak de eğlencenin yarısıdır.

Metinden ötesi

Bir kez indirme fikri yalnızca sohbetle sınırlı değildir. Görüntü modelleri fotoğraflarınızı okuyup bunlar hakkındaki soruları yanıtlar; sesli asistan da konuşarak sorulan soruları karşılar. Bunların tamamı sunucuya gönderilmek yerine Pixel'in kendisi üzerinde hesaplanır. İlk indirmeden sonra hiçbirinin bağlantıya ihtiyacı yoktur; uçak modu hiçbir şeyi değiştirmez. Bu da Pixel'i uzaktaki bir asistanın kumandası olmaktan çıkarıp kendi kendine yeten bir asistana dönüştürür.

Gerçekçi üst sınır

Bir telefon veri merkezi değildir; en büyük modeller her cihazda sabrınızı sınar. Yine de günlük taslak hazırlama, soru sorma, özetleme ve aklından konuşma gibi işlerde, orta boyutlu bir model çalıştıran Pixel, cebinizde sessizce yaşayan bir asistana sahip olmanın şaşırtıcı derecede yakın bir deneyimini sunar; üstelik asla sunucuya bağlanmaz. Bu denge kolay kabul edilebilir.