क्या बड़ा डाउनलोड बेहतर जवाबों का संकेत है?

0.5B मॉडल तुरंत जवाब देता है; 12B मॉडल गहराई से सोचता है, पर फ़्लैगशिप हार्डवेयर चाहिए। फ़ोन पर कौन-सा साइज़ असरदार है और कैसे चुनें?

'साइज़' का असल में क्या मतलब है

मॉडल के पैरामीटर की संख्या कुछ हद तक उसकी मेमोरी क्षमता होती है—ज़्यादा पैरामीटर यानी ज़्यादा जानकारी और बारीकियाँ संभाली जा सकती हैं, लेकिन फ़ाइल भी बड़ी होती है और फ़ोन के चिप पर भारी काम पड़ता है। ऑन-डिवाइस मॉडल लगभग 0.5B पैरामीटर (कुछ सौ मेगाबाइट) से 12B तक होते हैं, जो सात गिगाबाइट से आगे जा सकते हैं। साइज़ तय करता है कि मॉडल क्या कर सकता है और आपका फ़ोन उसे आसानी से चला सकता है या नहीं।

छोटे मॉडल किसमें बेहतर हैं

छोटे मॉडल तेज़ होते हैं। 0.5B से 3B तक का मॉडल लगभग तुरंत जवाब शुरू कर देता है—मध्यम रेंज के हार्डवेयर पर भी—बैटरी कम खाता है और फ़ोन के दूसरे सभी कामों के लिए RAM खाली रहता है। छोटे ईमेल, तेज़ सारांश, सूचियाँ और रोज़मर्रा के सवालों के लिए छोटा मॉडल अक्सर बड़े जितना ही अच्छा जवाब देता है, बस पहले। तेज़ी एक असली सुविधा है, और छोटे मॉडल इसमें सबसे आगे हैं।

बड़े मॉडल क्या जोड़ते हैं

7B से आगे बढ़ें तो जवाब आम तौर पर बेहतर और गहरे होते हैं: कई हिस्सों वाले सवालों पर तर्क मज़बूत होता है, लेखन ज़्यादा सोच-समझकर होता है, और आत्मविश्वासपूर्वक की गई गलतियाँ कम होती हैं। लेकिन कीमत भी असली है—डाउनलोड बड़ा होता है, जवाब शुरू होने में ज़्यादा समय लगता है, और 12B मॉडल को पर्याप्त मेमोरी वाला नया फ़्लैगशिप फ़ोन चाहिए। बड़े मॉडल तब काम आते हैं जब गुणवत्ता गति से ज़्यादा ज़रूरी हो और आपका हार्डवेयर उनके लिए पर्याप्त हो।

साइज़ तय करने की एक आसान सीढ़ी

छोटे से शुरू करें: Local AI में 1B-3B का कोई मॉडल लें और एक दिन इस्तेमाल करें। अगर जवाब हल्के लगें, तो एक साइज़ ऊपर बढ़ाकर वही प्रयोग दोहराएँ। ज़्यादातर लोग बीच में ही रुकते हैं—अच्छी भाषा के लिए पर्याप्त बड़ा, पर तेज़ रहने के लिए पर्याप्त छोटा। चूँकि हर मॉडल मुफ़्त डाउनलोड है, सही साइज़ ढूँढने में सिर्फ़ कुछ मिनट लगते हैं, कोई खर्च नहीं।