Ukuran model yang tepat untuk setiap tugas

0.5B atau 12B? Ukuran model menentukan kecepatan, kecerdasan, dan apakah ponsel Anda dapat menjalankannya. Panduan praktis memilih yang tepat.

Apa arti 'parameter' sebenarnya

Ukuran model—0.5B, 3B, 7B, atau 12B—menunjukkan jumlah parameternya, yaitu angka-angka tersimpan yang merepresentasikan semua yang dipelajari model saat pelatihan. Semakin banyak parameter, semakin besar kapasitas model untuk menyimpan fakta, menangkap nuansa, dan memahami bahasa. Namun, file juga menjadi lebih besar dan setiap kata yang dihasilkan membutuhkan perhitungan yang lebih berat. Bayangkan parameter sebagai gabungan kosakata, memori, dan jam latihan model: indikator kasar seberapa cerdas model tersebut dan perangkat keras apa yang dibutuhkan untuk_Untitled_

Sesuaikan ukuran dengan tugas

Pekerjaan harian—ringkasan, balasan, daftar, dan pertanyaan santai—biasanya tidak banyak terbantu oleh model besar: model 0.5B hingga 3B sudah cukup dan menjawab hampir seketika. Beralih ke 7B ke atas ketika tugas terasa berat: penalaran multi-bagian, penulisan panjang yang cermat, atau topik yang membuat jawaban salah tetapi yakin menjadi mahal. Kesalahan paling umum adalah memakai satu ukuran untuk semua kebutuhan. Model kecil bukan model yang lebih buruk; mereka adalah spesialis yang lebih cepat untuk pertanyaan sehari-hari.

Biaya memilih model besar

Ukuran besar membawa tiga biaya: ukuran unduhan—model 12B bisa berukuran lebih dari tujuh gigabyte; kecepatan—model yang lebih besar butuh waktu lama sebelum mulai menjawab; serta kebutuhan perangkat keras—RAM kelas atas dan cip yang bisa panas. Semua itu bukan masalah besar jika kualitas jawabannya sepadan. Namun, jika balasan datang sangat lambat, model yang 'lebih cerdas' justru lebih buruk dalam praktik. Model terbaik adalah model yang Anda rela menunggu jawabannya.

Coba sendiri secara gratis

Cara paling jujur untuk memilih adalah mencobanya secara langsung, dan Local AI membuatnya mudah: model terbuka dari 0.5B hingga 12B tersedia sebagai unduhan gratis di browser modelnya. Pasang dua atau tiga ukuran, lalu ajukan pertanyaan nyata—bukan tolok ukur, melainkan prompt yang benar-benar Anda gunakan—dan pertahankan model terkecil yang jawabannya sudah memuaskan. Semuanya dapat berjalan offline setelah diunduh, sehingga percobaan ini hanya memakan waktu beberapa menit dan sedikit ruang penyimpanan.