हाल ही में, न्यूडिया के अनुसंधान टीम ने एक नया ओम्निविंस पूर्ण-मोडल समझ मॉडल जारी किया, जो कई पूर्ण-मोडल समझ मानक परीक्षण में अच्छा प्रदर्शन करता है और वर्तमान में सबसे शीर्ष मॉडल के 19.05 अंकों को पार कर गया। अधिक ध्यान आकर्षित करने वाली बात यह है कि, ओम्निविंस के प्रशिक्षण के दौरान केवल 0.2 ट्रिलियन प्रशिक्षण टोकन का उपयोग किया गया, जबकि प्रतिद्वंद्वी के 1.2 ट्रिलियन के बराबर, इसकी डेटा कार्यक्षमता छह गुना है।
ओम्निविंस का मुख्य लक्ष्य एक ऐसा कृत्रिम बुद्धिमान प्रणाली बनाना है जो दृश्य, ध्वनि और पाठ को एक साथ समझ सके, जिससे मशीन मनुष्य की तरह विभिन्न अंगों के माध्यम से जटिल दुनिया को अनुभव और समझ सके। इस लक्ष्य को प्राप्त करने के लिए, अनुसंधान टीम केवल डेटा की मात्रा को बढ़ाने के बजाय, नवाचीन नेटवर्क व्यवस्था और डेटा प्रबंधन रणनीति के माध्यम से, प्रदर्शन और कार्यक्षमता में दोनों की सफलतापूर्वक वृद्धि कर गए।
िज़ाइन में, ओम्निविंस पूर्ण-मोडल संभावित अंतरिक्ष के अवधारणा का उपयोग करता है, जिसका उद्देश्य विभिन्न अंगों से जानकारी के संगम करना है, ताकि पार-मोडल समझ और तर्क की अनुमति दी जा सके। अनुसंधान टीम ने खोजा कि विभिन्न मोडल अंतर्निहित अनुभूति और तर्क में एक दूसरे को बल दे सकते हैं, जिसके कारण बहु-मोडल एआई प्रणाली के निर्माण के लिए दिशा प्रदान की गई।
ओम्निविंस की व्यवस्था डिज़ाइन पूर्ण-मोडल समझ क्षमता के लिए संयोजन योग्य है, जो छवि, वीडियो, ध्वनि और पाठ जैसे विषम इनपुट को एक साथ समाहित करता है। एक एकीकृत पूर्ण-मोडल अनुकूलन तकनीक के माध्यम से, यह मॉडल विभिन्न मोडल के एम्बेडिंग जानकारी को एक संभावित अंतरिक्ष में एकीकृत कर सकता है, जिसे बाद में बड़े भाषा मॉडल (LLM) में आगे भेजा जा सकता है। इस तकनीक में तीन महत्वपूर्ण तकनीक हैं, जिसमें ओम्निएलाइनेट मॉड्यूल दृश्य और ध्वनि जानकारी के अनुकूलन के लिए प्रभावी रूप से कार्य करता है, जबकि समय एम्बेडिंग समूह और सीमित घूर्णन समय एम्बेडिंग मॉडल के समय जानकारी के अंतर्निहित बोध में सुधार करता है।
ओम्निविंस के पूर्ण-मोडल समझ क्षमता के विकास के लिए, अनुसंधान टीम ने दो चरण के प्रशिक्षण विधि का उपयोग किया। पहले चरण में मोडल विशिष्ट प्रशिक्षण होता है, फिर पूर्ण-मोडल संयुक्त प्रशिक्षण किया जाता है, जिसमें अस्पष्ट और स्पष्ट शिक्षा डेटा का उपयोग करके मॉडल के संयुक्त बोध क्षमता में महत्वपूर्ण वृद्धि होती है।
ओम्निविंस के जारी होने के साथ, न्यूडिया ने बार-बार कृत्रिम बुद्धिमत्ता के क्षेत्र में नवाचीन प्रौद्योगिकी प्रदर्शित की, जो भविष्य में एआई प्रणालियों के अधिक बुद्धिमान और लचीला होने के संकेत देता है।
github: https://github.com/NVlabs/OmniVinci
महत्वपूर्ण बातें:
🌟 ओम्निविंस मॉडल पूर्ण-मोडल समझ मानक परीक्षण में शीर्ष मॉडल के 19.05 अंकों को पार कर गया।
📊 प्रशिक्षण डेटा केवल प्रतिद्वंद्वी के 1/6 है, डेटा कार्यक्षमता छह गुना बढ़ गई है।
🔑 नवाचीन व्यवस्था और दो चरण प्रशिक्षण विधि के उपयोग से मॉडल के बहु-मोडल समझ क्षमता में महत्वपूर्ण वृद्धि हुई है।