Buka bobot LLM, jalankan langsung di ponsel Anda

Bobot model terbuka mengubah permainan: model AI yang sama dengan chatbot cloud kini berjalan langsung di ponsel Android—begini caranya.

Apa arti bobot terbuka

Chatbot cloud menyewakan jawaban kepada Anda; model dengan bobot terbuka memberi Anda berkas modelnya sendiri. Llama memopulerkan gagasan ini, dan keluarga seperti Qwen, Gemma, Phi, dan LFM mengikutinya—model kecil yang bisa Anda unduh dan jalankan di mana saja.

Apa yang dibutuhkan ponsel Anda

Tiga hal: aplikasi untuk menjalankan model, berkas model yang sesuai dengan perangkat Anda, dan RAM kosong yang cukup. Model 0,5B parameter bisa berjalan di ponsel kelas menengah; model 12B menuntut perangkat andalan dan penyimpanan yang lega.

Jalur mudah

Local AI menangani semua teknisnya: jelajahi model dengan unduhan sekali ketuk, lalu ngobrol secara streaming dengan model yang sudah terpasang. Setelah diunduh, tidak ada internet, akun, atau server yang intervene.

Atur ekspektasi

Model berukuran ponsel unggul untuk membuat draf, meringkas, menghasilkan ide, dan mengobrol—bukan untuk segala hal yang bisa dilakukan pusat data. Mulailah dengan model kecil, lalu naikkan ukurannya hingga kualitas dan kecepatannya terasa pas.