हाल ही में, मेटा कंपनी ने एक नए सुपर बुद्धिमत्ता प्रयोगशाला (मेटा सुपरइंटेलिजेंस लैब, MSL) की स्थापना की और अपना पहला महत्वपूर्ण पेपर प्रकाशित किया, जिसके परिणाम बड़े भाषा मॉडल के रिट्रीवल एंहांस्ड जेनरेशन (RAG) कार्यों में तर्क की गति में नोटबल सुधार के रूप में दिखाई दिए, जो 30 गुना से अधिक बढ़ गई।
इस पेपर का नाम "REFRAG: Rethinking RAG based Decoding" है, जो बड़े भाषा मॉडल के लिए रिट्रीवल एंहांस्ड जेनरेशन (RAG) कार्य करते समय महत्वपूर्ण जानकारी को तेजी से निकालने के तरीकों पर चर्चा करता है, ताकि गणना की मात्रा कम करके अभिक्रिया समय कम किया जा सके, जबकि सटीकता बरकरार रखी जाए। मेटा सुपरइंटेलिजेंस लैब की स्थापना कंपनी के कृत्रिम बुद्धिमत्ता के क्षेत्र में आगे बढ़ने के संकेत के रूप में देखी गई है, विशेष रूप से वर्तमान प्रतिस्पर्धात्मक परिस्थितियों में, जैक जॉक बर्गर को AI तकनीक के विकास को आगे बढ़ाने की आवश्यकता है।
मेटा सुपरइंटेलिजेंस लैब की स्थापना इस वर्ष जून में हुई थी, जो कैलिफोर्निया के मेनलो पार्क में स्थित है, जिसका उद्देश्य सुपर बुद्धिमत्ता तकनीकों के विकास के लिए है। रिपोर्ट के अनुसार, जैक जॉक बर्गर ने अक्टूबर में मेटा के नए Llama4 मॉडल के प्रदर्शन से असंतुष्ट रहे, और अपने कर्मचारियों को अतिरिक्त काम करने के लिए मजबूर कर दिया। इस घटना ने उन्हें एक नई प्रयोगशाला की स्थापना करने के लिए बाध्य कर दिया, जिसमें स्केल एआई के संस्थापक एलेक्सैंडर वॉंग जैसे बड़े विशेषज्ञ शामिल किए गए।
प्रयोगशाला के भीतर, टीम चार समूहों में विभाजित की गई है, जिनकी जिम्मेदारी बड़े भाषा मॉडल के विकास, कृत्रिम बुद्धिमत्ता के आधार अनुसंधान, उत्पाद तकनीकी लागू करना और बुनियादी ढांचे की गारंटी रखना है। REFRAG फ्रेमवर्क के प्रस्ताव के माध्यम से, प्रयोगशाला बड़े भाषा मॉडल के प्रदर्शन के अनुकूलन में पहला कदम उठाया।
REFRAG फ्रेमवर्क का मुख्य विचार एक हल्के मॉडल के माध्यम से लंबे संदर्भ सामग्री को सारांश में संक्षिप्त करना है, ताकि डीकोडर द्वारा प्रसंस्करण के लिए आउटपुट जानकारी कम की जा सके। इस तकनीक से प्रोसेसिंग की गति बढ़ गई है और गणना की मात्रा कम हो गई है, जिससे मॉडल की दक्षता बढ़ गई है। इसके अलावा, अनुसंधान टीम ने "सतत पूर्व-प्रशिक्षण" विधि का उपयोग किया, जिसमें मॉडल को रीकंस्ट्रक्शन कार्य के माध्यम से प्रशिक्षित किया गया, ताकि संक्षिप्त जानकारी के साथ ही महत्वपूर्ण विवरण बरकरार रखा जा सके।
पूर्ण परीक्षण के बाद, REFRAG विभिन्न कार्यों में अच्छा प्रदर्शन करता है, विशेष रूप से समय देरी और बैंडविड्थ में नोटबल सुधार के साथ। परीक्षण परिणामों के अनुसार, REFRAG 16 गुना संक्षेपण अनुपात पर, पिछले सबसे आगे वाले मॉडल CEPE की तुलना में गति में आगे बढ़ गया, और सटीकता में लगभग कोई हानि नहीं हुई।
यह नवाचार परिणाम मेटा के कृत्रिम बुद्धिमत्ता के क्षेत्र में विकास के लिए नए ऊर्जा के साथ आया है, और बड़े मॉडल के तर्क दक्षता में सुधार के लिए इसके भविष्य के विचारों को दर्शाता है।
पेपर:https://arxiv.org/abs/2509.01092
मुख्य बिंदु:
🌟 मेटा ने सुपर बुद्धिमत्ता प्रयोगशाला की स्थापना की, जिसका उद्देश्य AI तकनीक के विकास को आगे बढ़ाना है।
⚡ नए पेपर "REFRAG" RAG तर्क गति में 30 गुना सुधार करता है, गणना की मात्रा कम करता है।
🚀 REFRAG फ्रेमवर्क जानकारी के संक्षेपण के माध्यम से बड़े भाषा मॉडल की दक्षता और सटीकता में सुधार करता है।
