बड़े भाषा मॉडल की दक्षता के क्रांति हो रही है। मेटा सुपर इंटेलिजेंस लैब हाल ही में एक बदलाव तकनीक पेश करता है, जो बड़े भाषा मॉडल के खोज बढ़ाए जनन कार्य में तर्क गति 30 गुना से अधिक बढ़ा देता है। इस नवाचार अध्ययन "REFRAG: Rethinking RAG based Decoding" के शीर्षक के साथ प्रकाशित हुआ, जो AI मॉडल के काम करने के तरीके में गहरा परिवर्तन लाता है।
मेटा सुपर इंटेलिजेंस लैब इस वर्ष जून में कैलिफोर्निया मेनलो पार्क में स्थापित किया गया था। लैब के जन्म मेटा के सीईओ मार्क जुकरबर्ग के द्वारा कंपनी के नए जारी Llama4 मॉडल के प्रदर्शन से असंतुष्ट होने के कारण हुआ। उन्होंने टीम को विकास की गति बढ़ाने के लिए कहा, अपने कर्मचारियों को अतिरिक्त काम करने के लिए भी मजबूर कर दिया। इस आवश्यकता के कारण लैब की स्थापना हुई और बहुत से शीर्ष विशेषज्ञों को आकर्षित किया गया।
लैब के संचालन संरचना में अनुसंधान टीम चार समूहों में विभाजित है, जिनमें बड़े भाषा मॉडल विकास, मूल अनुसंधान, उत्पाद प्रौद्योगिकी अनुप्रयोग और बुनियादी ढांचा सुरक्षा शामिल हैं। REFRAG फ्रेमवर्क के लॉन्च लैब द्वारा बड़े भाषा मॉडल प्रदर्शन के अधिक अनुकूलन में एक महत्वपूर्ण कदम रखा गया।
REFRAG फ्रेमवर्क के मुख्य नवाचार एक हल्के मॉडल के माध्यम से लंबे संदर्भ सामग्री को संक्षिप्त सारांश में संक्षिप्त करना है, जिससे डीकोडर के लिए निर्माण करने के लिए जानकारी की मात्रा कम हो जाती है। इस तरीका से निर्माण गति बहुत अधिक बढ़ गई है, और गणना जटिलता कम हो गई है, मॉडल की समग्र दक्षता बढ़ गई है। अनुसंधान टीम ने लगातार पूर्व-प्रशिक्षण रणनीति का उपयोग किया, जिसमें जानकारी के संक्षेप में रखते हुए भी महत्वपूर्ण जानकारी के विवरण को संरक्षित करने के लिए निर्माण कार्य के माध्यम से मॉडल का प्रशिक्षण किया गया।
पूर्ण परीक्षण के बाद, REFRAG कई कार्यों में उत्कृष्ट प्रदर्शन करता है, विशेष रूप से समय देरी और डेटा बहुतायत के पहलू में बढ़ोतरी बहुत नोट किया गया है। प्रयोग डेटा दर्शाता है कि 16 गुना तक संक्षेपण अनुपात के साथ, REFRAG पहले से सबसे आगे वाले मॉडल CEPE के आगे रहा है और अक्षमता के पहलू में कोई हानि नहीं हुई है। यह अप्रत्याशित बदलाव भविष्य के AI अनुप्रयोग के लिए नए संभावनाओं को खोलता है।
खोज बढ़ाए जनन तकनीक वर्तमान बड़े भाषा मॉडल के उत्तर गुणवत्ता और सटीकता में सुधार के लिए महत्वपूर्ण तरीका है, बाहरी ज्ञान भंडार से संबंधित जानकारी की खोज करके मॉडल आउटपुट को बढ़ाया जाता है। हालांकि पारंपरिक RAG विधि के मुख्य बाधा बड़ी मात्रा में खोज सामग्री के साथ गणना भार है। REFRAG स्मार्ट संक्षेपण द्वारा इस दरार को हल करता है, मॉडल के प्रदर्शन के बरकरार रखते हुए ऑपरेशन की दक्षता में महत्वपूर्ण वृद्धि करता है।
इस तकनीक का महत्व गति में वृद्धि के अलावा, बड़े भाषा मॉडल के व्यावहारिकता के लिए रास्ता तैयार करता है। तेज तर्क गति कम ऑपरेशन लागत और बेहतर उपयोगकर्ता अनुभव के लिए अनुमति देता है, जो वास्तविक समय प्रतिक्रिया की आवश्यकता वाले AI अनुप्रयोगों के लिए आवश्यक है। मेटा बुद्धिमान तकनीक के क्षेत्र में लगातार आगे बढ़ते रहे, REFRAG फ्रेमवर्क के आगमन बड़े भाषा मॉडल के वास्तविक अनुप्रयोग में व्यापकता को बहुत बढ़ा देगा, हमारे भविष्य के बुद्धिमान अनुप्रयोग के बारे में आशा करते हैं।
