ओपन LLM weights, आपके फ़ोन पर चलते हुए

ओपन मॉडल weights ने खेल बदल दिया: क्लाउड चैटबॉट्स के पीछे वाले AI मॉडलों की ही नस्ल अब सीधे Android फ़ोन पर चलती है - जानिए कैसे चलाएँ।

ओपन weights का असली मतलब

क्लाउड चैटबॉट आपको जवाब किराए पर देता है; ओपन-weight मॉडल आपको खुद मॉडल फ़ाइल सौंपता है। Llama ने यह आइडिया मशहूर किया, और Qwen, Gemma, Phi और LFM जैसे परिवार पीछे आए - छोटे मॉडल जिन्हें आप डाउनलोड करके कहीं भी चला सकते हैं।

आपके फ़ोन को क्या चाहिए

तीन चीज़ें: मॉडल चलाने वाला ऐप, आपके डिवाइस के हिसाब का मॉडल फ़ाइल, और काफ़ी खाली RAM। 0.5B पैरामीटर वाले मॉडल सामान्य फ़ोन पर चलते हैं; 12B मॉडल फ़्लैगशिप हार्डवेयर और खूब स्टोरेज माँगते हैं।

आसान रास्ता

Local AI आपके लिए plumbing संभालता है: one-tap डाउनलोड वाला मॉडल ब्राउज़र, फिर जो भी इंस्टॉल किया उसके साथ स्ट्रीमिंग चैट। डाउनलोड के बाद, न इंटरनेट, न अकाउंट, न लूप में कोई सर्वर।

उम्मीदें सही रखें

फ़ोन-साइज़ मॉडल drafts, सारांश, ब्रेनस्टॉर्मिंग और बातचीत में शानदार है - डेटा सेंटर जो सब कुछ कर सकता है, वैसा नहीं। छोटे मॉडल से शुरू करें, फिर तब तक बढ़ाएँ जब तक क्वालिटी और स्पीड सही न लगे।