फ़ोन के LLM को कितनी RAM चाहिए?

Android पर 0.5B से 12B पैरामीटर मॉडल: हर साइज़ को असल में कितनी RAM, स्टोरेज और स्पीड चाहिए - और कौन सा मॉडल आपके फ़ोन में फ़िट है।

संक्षिप्त जवाब

अंगूठे का नियम: मॉडल की फ़ाइल साइज़ के बराबर खाली RAM, प्लस थोड़ी headroom। 1 GB मॉडल को ~2 GB खाली चाहिए; 4 GB मॉडल को ~6 GB। स्टोरेज आसान हिस्सा है - मॉडल कुछ सौ MB से लेकर करीब 8 GB तक होते हैं।

1 GB से कम: कोई भी फ़ोन

टाइनी 0.5-1B मॉडल सेकंडों में लोड होते हैं और पिछले पाँच साल के लगभग किसी भी Android पर चलते हैं। क्विक सवालों, रीराइटिंग और autocomplete-स्टाइल कामों के लिए बढ़िया।

1-3 GB: sweet spot

6-8 GB RAM वाले मिड-रेंज फ़ोन इन्हें आराम से संभालते हैं। यहीं से रोज़मर्रा की चैट, सारांश और अनुवाद के लिए जवाब की क्वालिटी सच में स्मार्ट लगने लगती है।

4-8 GB: फ़्लैगशिप इलाका

सबसे बड़े फ़ोन-फ्रेंडली मॉडल (8-12B) 8-12+ GB RAM और नई हाई-एंड चिप माँगते हैं। लोड में धीमे, जवाब में धीमे - लेकिन जेब में बैठने वाले क्लाउड मॉडल के सबसे करीब। Local AI हर मॉडल का साइज़ पहले से दिखाता है, ताकि कोई सरप्राइज़ न हो।