हाल ही में, ह्यूएवेने अपने नए "शेंगटुन + पान्गु युल्ट्रा मोई" सिस्टम के माध्यम से एक आश्चर्यजनक प्रगति दिखाई: एक लगभग अरबों पैरामीटरों वाले मोई बड़े मॉडल को बिना किसी जीपीयू (GPU) के शामिल किए भी 2 सेकंड में उच्च गणित के एक प्रश्न को समझ और जवाब दे पाया। यह सब दिखाता है कि ह्यूए अपने स्वयं के नियंत्रण रखने वाले देशीय गणना और मॉडल प्रशिक्षण की क्षमता में कितनी मजबूती है।
तकनीकी रूप से, ह्यूए के टीम ने पूरे प्रशिक्षण सिस्टम की प्रदर्शन को सुधारने में कामयाबी हासिल की, जिससे इंटरपारेलल स्ट्राटेजी के बुद्धिमान चयन और कम्प्यूटेशनल कम्यूनिकेशन को बढ़ावा दिया और क्लस्टर की प्रशिक्षण दक्षता को बहुत अधिक बढ़ाया। उनके तकनीकी रिपोर्ट में, ह्यूए ने CloudMatrix384 सुपर-नोड पर किए गए कई तकनीकी नवाचारों का विस्तृत विवरण प्रदान किया, जिसमें सुधारित संचार मैकेनिज्म और लोड बैलेंसिंग स्ट्राटेजी शामिल थी। इन नवाचारों ने बड़े माप के मोई प्रशिक्षण के लिए विशेषज्ञों के पारस्परिक संचार लागत को लगभग शून्य कर दिया और गणना लोड को उपयुक्त ढंग से संतुलित किया।
इसके अलावा, ह्यूए ने एकल नोड पर गणना क्षमता में भी महत्वपूर्ण सफलता प्राप्त की। वे ट्रेनिंग ऑपरेटर्स के अनुसरण को बेहतर बनाने के माध्यम से छोटे बैचों का आकार दोगुना कर लिया और ऑपरेटर डिप्लॉइंग की प्रभावशीलता की समस्या को हल कर दिया। इस तकनीकी सुधार का मतलब है कि ह्यूए के सिस्टम को जटिल कम्प्यूटेशनल कार्यों को प्रबंधित करने में अधिक प्रभावी होने की सक्षमता मिली है।
ह्यूए के इस समूह के इन तकनीकी नवाचारों ने बड़े माप के मोई मॉडल की प्रशिक्षण क्षमता को बहुत अधिक बढ़ाया और भविष्य में बड़े पैमाने पर AI मॉडलों की प्रशिक्षण और उपयोग के लिए नई संभावनाओं को खोल दिया।