मानवीय बुद्धिमत्ता के तेजी से विकास में, बड़े भाषा मॉडलों (LLM) की खोज और अनुमान शक्ति को कैसे बढ़ा सकते हैं, यह एक लोकप्रिय विषय बन गया है। हाल ही में, अली की टोगई प्रयोगशाला ने "ZeroSearch" नामक एक नए फ़्रेमवर्क प्रस्तुत किया है, जो बड़े भाषा मॉडल को स्वयं खोज इंजन की तरह निर्मित करने में सक्षम बनाता है। इससे वास्तविक खोज इंजन के बिना भी इसकी अनुमान शक्ति में सुधार हो सकता है।
वास्तविक खोज इंजन के पास शक्तिशाली होने के बावजूद, उनके आउटपुट की गुणवत्ता परिप्रेक्ष्य में अक्सर अनिश्चित होती है, जिससे प्रशिक्षण के दौरान शोर और अस्थिरता पैदा हो सकती है। इसके अलावा, वास्तविक खोज इंजन के API कॉल का प्रयोग करने की लागत बहुत अधिक हो जाती है, जिससे विशाल आकार के सिंहावलोकन अधिकार्थी प्रशिक्षण करना असंभव बन जाता है। लेकिन ZeroSearch के आने से इन सब समस्याओं का समाधान हुआ है। इस फ़्रेमवर्क ने खोज परिवेश को सिमुलेट करने और ग्रेड्यूअल नोइज़-रेसिस्टेंट प्रशिक्षण लागू करने के माध्यम से, बड़े मॉडल को वास्तविक खोज इंजन के साथ इंटरैक्ट करने की आवश्यकता को छोड़ दिया।
ZeroSearch का केंद्रीय तत्व है कि यह बड़े मॉडल को थोड़े से लेबल डेटा के साथ एक सिंहावलोकन अधिकार्थी प्रशिक्षण द्वारा ट्यून करता है, जिससे यह उपयोगी डॉक्यूमेंट और गतिविधिशील डॉक्यूमेंट बनाने में सक्षम हो जाता है। प्रशिक्षण के दौरान, मॉडल को वास्तविक खोज इंजन के स्टाइल के साथ मिलाने वाली विशेषताओं को बनाए रखने के लिए सीखने की अनुमति मिलती है, जबकि विभिन्न गुणवत्ता के डॉक्यूमेंट्स को बनाए रखने की अनुमति भी दी जाती है। इस प्रकार की अनुकूलनशील क्षमता से मॉडल जटिल खोज कार्यों को प्रमाणित करने में जल्दी से समझदार हो जाता है और संतुलन ढूंढ लेता है।
इसके अलावा, ZeroSearch ने अनुक्रमिक सीखने की रणनीति अपनाई है। प्रशिक्षण की प्रारंभिक चरण में, मॉडल को उच्च गुणवत्ता वाले डॉक्यूमेंट का प्रयोग किया जाता है, और प्रशिक्षण के गहरे चरणों में, मॉडल को शोर से भरे डॉक्यूमेंटों के साथ भी निपटने की अनुमति दी जाती है। यह बढ़ती कठिनाई का उपाय न केवल मॉडल की अनुमान शक्ति में सुधार करता है, बल्कि प्रशिक्षण की स्थिरता और प्रभावशीलता में भी सुधार करता है। प्रशिक्षण के बाद, मॉडल ऊंचे गुणवत्ता वाले और निम्न गुणवत्ता वाले डॉक्यूमेंटों में सबसे उचित खोज रणनीति को पहचान लेता है।
अध्ययनों के अनुसार, ZeroSearch कई प्रश्न-उत्तर डेटासेट पर अच्छा प्रदर्शन करता है, विशेष रूप से एक-प्रवाह और बहु-प्रवाह प्रश्न-उत्तर कार्यों में, जहां परंपरागत तकनीकों की तुलना में इसका प्रदर्शन स्पष्ट रूप से बेहतर है। यह कहने का मतलब है कि ZeroSearch बसिक प्रश्नों पर सही उत्तर प्रदान कर सकता है, और जटिल खोज टास्क को भी संभाल सकता है।
ZeroSearch ने बड़े मॉडल के स्वयंसेवा की नई रणनीति पेश की है, जो खोज इंजन के बिना अस्वतंत्र है, जिससे विशाल आकार के सिंहावलोकन अधिकार्थी प्रशिक्षण को अधिक आर्थिक और व्यावहारिक बना देता है। भविष्य में, ZeroSearch बड़े मॉडल की खोज क्षमता और उनके उपयोग की सीमाएं में सुधार करने में बड़ी भूमिका निभा सकता है।