डिफ्यूज़न को मोबाइल पर दबाने वाली इंजीनियरिंग

डिफ्यूज़न मॉडल डेटा-सेंटर GPUs के लिए बनाए गए थे। असली डिफ्यूज़न इंजन फ़ोन पर नेटिव रूप से चलने के लिए कैसे छोटा किया जाता है, और इसके फ़ायदे-नुकसान क्या हैं।

डिफ्यूज़न मॉडल असल में करता क्या है

डिफ्यूज़न मॉडल शुद्ध शोर से शुरू होकर कदम-दर-कदम उसे हटाकर इमेज बनाता है। हर कदम पर नेटवर्क एक बार चलता है: यह तस्वीर का थोड़ा साफ़ संस्करण अनुमानित करता है, और काफ़ी कदमों के बाद एक सुसंगत इमेज बचता है। इसी लूप की वजह से डिफ्यूज़न को बहुत ज़्यादा कंप्यूट चाहिए — एक आउटपुट के लिए पूरा मॉडल दर्जनों बार चलता है, जैसे क्लासिफ़ायर एक बार चलता है।

आकार की समस्या

ये मॉडल पंखे वाले कार्ड और अलग पावर केबल के लिए बनाए गए थे। फ़ुल-प्रिसीज़न डिफ्यूज़न मॉडल का आकार कई गीगाबाइट तक हो सकता है, और हर डीनॉइज़िंग कदम में वे वेट्स फिर से मेमोरी से पढ़े जाते हैं। फ़ोन पर स्टोरेज और मेमोरी बैंडवidth दोनों सीमित संसाधन हैं — इसलिए डेस्कटॉप पाइपलाइन को ज्यों का त्यों कॉपी करना कभी काम नहीं करता।

इसे छोटा कैसे किया जाता है

मुख्य उपकरण है क्वांटाइज़ेशन: मॉडल के वेट्स को 16 या 32 बिट के बजाय 8 या यहाँ तक कि 4 बिट में स्टोर करना, जिससे क्षमता के अधिकांश हिस्से को बनाए रखते हुए आकार एक अंश रह जाता है। इसे मोबाइल CPUs और GPUs के लिए लिखे नेटिव इन्फ़रेंस इंजन, समझदार डिफ़ॉल्ट रिज़ॉल्यूशन और ट्यून किए गए स्टेप काउंट के साथ जोड़ें, और डेटा-सेंटर का वर्कलोड कुछ ऐसा हो जाता है जिसे जेब में रखा चिप आसानी से संभाल सके।

ईमानदार फ़ायदे-नुकसान

छोटे क्वांटाइज़्ड मॉडल और कम कदमों का मतलब है कि मोबाइल डिफ्यूज़न कुछ हद तक शार्पनेस और बड़े मॉडलों की विशेष प्रॉम्प्ट-फ़ॉलोइंग क्षमता खोता है। जनरेशन में कुछ सेकंड से लेकर लगभग एक मिनट लगता है, सर्वर फ़ार्म के लगभग तुरंत नतीजों की जगह — यह साधारण धैर्य है, जादू नहीं। बदले में पूरी पाइपलाइन वहीं चलती है जहाँ विचार पैदा हुआ था, न कोई अपलोड, न कोई कतार।

यह नेटिव रूप से कहाँ चलता है

OIG ठीक इसी पर बना है: एक असली डिफ्यूज़न इंजन जो फ़ोन पर नेटिव रूप से चलता है, न कि बादामी कोट वाला कोई क्लाउड API। प्रॉम्प्ट दीजिए, इमेज पाइजिए, सब कुछ डिवाइस पर ही गणना होता है — वही डीनॉइज़िंग लूप जो डेस्कटॉप चलाता, मोबाइल हार्डवेयर के अनुसार ढाला गया। इमेज जनरेशन के लिए यह फ़र्क़ उस उपकरण के मालिक होने और उसकी एक झलक किराए पर लेने के बीच है।