माइक्रोसॉफ्ट रिसर्च टीम द्वारा पेश किया गया 1.3 अरब पैरामीटर वाला मॉडल Orca2 हाल ही में प्रकाशित एक पेपर में छोटे भाषा मॉडल की विचार क्षमता को बढ़ाने के तरीकों की खोज कर रहा है। बढ़ाए गए प्रशिक्षण संकेतों के माध्यम से, Orca2 अपने आकार के समान अन्य मॉडलों की तुलना में 5-10 गुना बड़े मॉडलों के समान या उससे बेहतर प्रदर्शन करने में सक्षम है। Orca2 का उद्देश्य छोटे भाषा मॉडलों को एक श्रृंखला के विचार तकनीकों को अपनाने के लिए सिखाना है, और उन्हें विशेष कार्य के लिए सबसे प्रभावी विचार रणनीतियों का निर्धारण करने में मदद करना है। इसके पूर्ववर्ती Orca1 के समान, शोध टीम ने अधिक शक्तिशाली बड़े भाषा मॉडलों की विचार रणनीतियों से प्रेरणा ली और छोटे मॉडलों की क्षमताओं के अनुसार उन्हें बारीकी से समायोजित किया। Orca2 ने एक सतर्क विचार तकनीक को अपनाया है, जिसे Prompt Erasure कहा जाता है, जिससे यह एक सतर्क विचारक बन गया है। यह तकनीक मॉडल को न केवल विशिष्ट विचार चरणों को निष्पादित करने में सक्षम बनाती है, बल्कि इसे उच्च स्तर पर कार्य प्रक्रिया रणनीतियों को विकसित करने में भी सक्षम बनाती है। अनुभवात्मक अनुसंधान में, शोधकर्ताओं ने Orca2 का 15 बेंचमार्क परीक्षणों में व्यापक मूल्यांकन किया, और परिणामों ने दिखाया कि Orca2 अपने आकार के समान मॉडलों की तुलना में स्पष्ट रूप से बेहतर है, और यहां तक कि उच्च स्तर के विचार की आवश्यकता वाले कार्यों में 5-10 गुना बड़े मॉडलों के साथ प्रतिस्पर्धा करता है या उन्हें पार करता है। छोटे मॉडलों की क्षमताओं को बढ़ाना विभिन्न अनुप्रयोग तैनाती परिदृश्यों के लिए नई संभावनाएँ खोलेगा, और दक्षता और कार्यक्षमता के बीच संतुलन खोजेगा।