ऑन-डिवाइस AI क्या है, और यह सब कुछ कैसे बदल देता है?

ऑन-डिवाइस AI समझाया गया: फ़ोन हार्डवेयर पर न्यूरल नेटवर्क कैसे चलते हैं, प्राइवेसी, स्पीड और ऑफ़लाइन इस्तेमाल के लिए इसका मतलब, और कौन से ऐप्स यह अच्छा करते हैं।

AI चलने के दो तरीके

आज का ज़्यादातर AI क्लाउड AI है: आपका डिवाइस रिक्वेस्ट भेजता है, डेटा सेंटर सोचता है, और जवाब वापस स्ट्रीम होता है। ऑन-डिवाइस AI न्यूरल नेटवर्क को खुद आपके फ़ोन में रखता है - 'दिमाग' सर्वर रैक में नहीं, आपके हाथ में होता है। फ़र्क आर्किटेक्चर का है, किसी सेटिंग का नहीं।

फ़ोन AI मशीनें कैसे बने

आधुनिक फ़ोन चिप्स में dedicated neural accelerators (NPU) होते हैं, साथ में तेज़ CPU और GPU। कम्प्रेशन तकनीकें - quantization - मॉडलों को उनके साइज़ के एक हिस्से तक सिकोड़ देती हैं, जबकि क्षमता का ज़्यादातर हिस्सा बरकरार रहता है। 2-बिलियन-पैरामीटर का मॉडल जिसे 2023 में सर्वर चाहिए था, आज मिड-रेंज फ़ोन पर आराम से चलता है।

आपको क्या मिलता है

भौतिकी से प्राइवेसी: इंटरसेप्ट करने के लिए कुछ है ही नहीं। स्पीड: नेटवर्क राउंड-ट्रिप नहीं। भरोसा: ज़ीरो सिग्नल बार पर भी चलता है। लागत: होस्टेड मॉडल की कोई सब्सक्रिप्शन नहीं।

ईमानदार trade-off

सबसे बड़े मॉडल अब भी डेटा सेंटर में रहते हैं - क्षमता में थोड़ा फ़र्क है। लेकिन चैट, दस्तावेज़, कहानियों और टूल्स के लिए, जेब में रहने वाला मॉडल पहले से ही हैरान करने वाला अच्छा है।