हुनयुआन-ए13बी टेनसेंट द्वारा सबसे हाल ही में ओपन सोर्स किया गया एक बड़ा भाषा मॉडल है, जो नवीन डिज़ाइन विचारों के साथ, तुलनात्मक रूप से छोटे सक्रिय पैरामीटर के आकार में, शक्तिशाली प्रदर्शन प्रदान करता है, जो संसाधन सीमित वातावरणों के लिए विशेष रूप से उपयुक्त है।
इस मॉडल ने सूक्ष्म-अंग मोई (Mixture-of-Experts) व्यवस्था का उपयोग किया है, जिसमें 13 अरब सक्रिय पैरामीटर हैं, लेकिन कुल पैरामीटर की संख्या 800 अरब है। इस डिज़ाइन के कारण, इसे दक्षता और फैलाव के साथ आगे के तर्क क्षमता और सामान्य अनुप्रयोग समर्थन प्रदान करने में सक्षम बनाया गया है।
हुनयुआन-ए13बी के मुख्य कार्यक्षमता विशेषताएं निम्नलिखित हैं:
तेज और धीमी सोच के संयुक्त तर्क प्रारूप का समर्थन: इस विशिष्ट तर्क तंत्र के कारण, मॉडल को कार्य की आवश्यकता के अनुसार सोच के गहराई को समायोजित करने की सुविधा प्रदान की जाती है, जो कठिन समस्याओं के प्रबंधन में दक्षता में वृद्धि करता है।
मूल रूप से 256 के अत्यधिक लंबे संदर्भ समझ क्षमता: इसका अर्थ यह है कि मॉडल बहुत लंबे पाठ प्रविष्टि का सामना कर सकता है, जिससे इसकी पृष्ठभूमि की आवश्यकता वाली कार्यों में उत्कृष्ट प्रदर्शन होता है।
बुद्धिमान एजेंट कार्यों में अद्वितीय प्रदर्शन: हुनयुआन-ए13बी कई प्रकार के बुद्धिमान एजेंट (एजेंट) संबंधी कार्यों के कार्यान्वयन में शक्तिशाली क्षमता दिखाता है।
कुशल तर्क प्राप्त करने के लिए, हुनयुआन-ए13बी ग्रुप्ड क्वेरी एटेंशन (GQA) तकनीक का उपयोग करता है और विभिन्न मात्रा स्वरूपों का समर्थन करता है। वर्तमान में, इस मॉडल के अभ्यास, निर्देश अनुकूलन, FP8 और INT4 मात्रा संस्करण ओपन सोर्स किए गए हैं, जो विकासकों के लिए सुविधाजनक है।
कई मानक परीक्षणों में, हुनयुआन-ए13बी के उत्कृष्ट प्रतिस्पर्धा दिखाई दी है, विशेष रूप से गणित, विज्ञान, कोडिंग, तर्क और बुद्धिमान एजेंट क्षेत्रों में।
टेनसेंट विकासकर्ताओं के लिए पूर्ण समर्थन प्रदान करता है, जिसमें Hugging Face Transformers के साथ बातचीत और मॉडल शिक्षा के विस्तृत निर्देश शामिल हैं। साथ ही, मॉडल डेप्लॉयमेंट के लिए, हुनयुआन-ए13बी TensorRT-LLM, vLLM और SGLang के माध्यम से समर्थन प्रदान करता है और पूर्व-निर्मित Docker छवि और मात्रा संस्करण डेप्लॉयमेंट समाधान प्रदान करता है, जो डेप्लॉयमेंट प्रक्रिया को बहुत सरल बना देता है।
हुनयुआन-ए13बी के ओपन सोर्स होने से, बड़े मॉडल के संसाधन सीमित वातावरणों में उपयोग के लिए नए संभावनाओं का खुला हो गया है, और AI समुदाय के लिए नए नवाचार ऊर्जा भी प्रदान करता है।
ओपन सोर्स पता: https://huggingface.co/tencent/Hunyuan-A13B-Instruct
गिटहब: https://github.com/Tencent-Hunyuan/Hunyuan-A13B?tab=readme-ov-file