हाल ही में, AIbase ने सोशल मीडिया प्लेटफॉर्मों से जानकारी प्राप्त की है और जाना है कि Shisa.AI, HuggingFace मॉडल्स का एक प्रदाता जो जापानी भाषा के फाइनट्यूनिंग पर काम करता है, अपने हालिया जारी किए गए बाइलिंग्वल जापानी-अंग्रेजी AI पद्धति के कारण उद्योग के ध्यान को आकर्षित कर लिया है। इस लेख में, हम आपको Shisa.AI के नवीनतम परिणामों के बारे में एक विस्तृत व्याख्या करेंगे और जापानी AI के क्षेत्र में उनके ब्रेकथ्रू के बारे में बताएंगे।
Shisa V2405B: जापान में सबसे मजबूत Open-Source मॉडल
AIbase के अनुसार, Shisa.AI ने Llama3.1 पर आधारित Shisa V2405B मॉडल को जारी किया है, जो "जापान में प्रशिक्षित सबसे मजबूत बड़े भाषा मॉडल" के रूप में जाना जाता है। यह Open-Source मॉडल न केवल जापानी कार्यों में उत्कृष्ट प्रदर्शन करता है, बल्कि अंग्रेजी के प्रोसेसिंग क्षमता को भी संभालता है, जो इसे एक उत्कृष्ट बाइलिंग्वल मॉडल के रूप में स्थापित करता है।
परीक्षण परिणामों के अनुसार, Shisa V2405B मॉडल जापानी बेंचमार्क परीक्षणों में GPT-4 और नवीन ग्रेड GPT-4o और DeepSeek-V3 को पराजित कर दिया है। ये तख़्तापलट जापानी लोकल AI लैबोरेटरीज़ को वैश्विक AI प्रतिस्पर्धा मंच पर उन्नयन करने में मदद करते हैं और जापानी AI अनुप्रयोगों के लिए नई संभावित राहत खोलते हैं।
जापानी भाषा पर केंद्रित, फाइनट्यूनिंग के क्षेत्र में प्रगति
Shisa.AI, टोकियो में स्थित एक स्टारटअप है जो जापानी बाजार के लिए उन्नत Open-Source AI भाषा और भाषा मॉडल्स का विकास और प्रदान करता है। AIbase का अनुभव है कि Shisa V2 श्रृंखला अपने पूर्व मॉडलों की तुलना में महंगे निरंतर प्रशिक्षण और टोकेनाइज़र विस्तारों का छोड़कर अपनी निर्देशित फाइनट्यूनिंग प्रक्रियाओं पर केंद्रित है। सिंथेटिक डेटा के उपयोग से मॉडल के प्रदर्शन में सुधार लायक प्रमाण प्राप्त हुआ है।
उल्टरा-ओर्का-बोरोस-एन-जा-व1 नामक कर्नल डेटासेट ने फ़िल्टरिंग, पुनर्जन्म और रीमल्टिपलायशन किया गया है और यह एक मजबूत जापानी-अंग्रेजी बाइलिंग्वल डेटासेट के रूप में जाना जाता है, जो जापानी कौशल को नामित सभी स्तरों पर सुधार करता है। यह डेटासेट Apache2.0 लाइसेंस के साथ मुफ़्त रूप से उपलब्ध है और विश्वभर के डेवलपर्स को मूल्यवान संसाधन प्रदान करता है।
7B से 405B तक विभिन्न पैरामीटर के साथ विभिन्न पैमाने पर मॉडल श्रृंखला
Shisa V2 श्रृंखला में 7B से 405B के विभिन्न पैरामीटर के साथ विभिन्न पैमाने के मॉडल शामिल हैं, जो कि हल्के डिवाइस से हाई-परफॉर्मेंस कंप्यूटर तक की विविध आवश्यकताओं को पूरा करते हैं। AIbase का अनुभव है कि ये मॉडल जापानी व्याकरण, चरित्र खेल और अनुवाद जैसी कार्यों में उत्कृष्ट प्रदर्शन करते हैं, विशेष रूप से shisa-jp-ifeval (जापानी आदेश अनुसरण परीक्षण), shisa-jp-rp-bench (जापानी चरित्र खेल बेंचमार्क) और shisa-jp-tl-bench (जापानी-अंग्रेजी अनुवाद बेंचमार्क) जैसी परीक्षणों में, जहाँ वे अपने बेस मॉडलों को पाराजित करते हैं।
महत्वपूर्ण बात यह है कि Shisa V2405B के प्रशिक्षण के दौरान कोरियाई और पारंपरिक चीनी डेटा के छोटे प्रमाण का शामिल किया गया है, जो इसकी बहुभाषा क्षमता को और भी मजबूत बनाता है और क्रॉसलिंग्वल अनुप्रयोगों के लिए अधिक संभावितता बनाता है।
Open-Source दृष्टिकोण वैश्विक AI नवाचार को सुविधिता प्रदान करता है
Shisa.AI की प्रयास न केवल जापानी भाषा AI की क्षमता को बढ़ाते हैं, बल्कि Open-Source रास्ते के माध्यम से वैश्विक AI समुदाय को भी आगे बढ़ने में मदद करते हैं। AIbase का अनुभव है कि Shisa V2 श्रृंखला के प्रशिक्षण प्रोटोकॉल्स वेबसाइट Weights and Biases पर प्रकाशित किए गए हैं, और प्रशिक्षण प्रक्रिया AWS Sagemaker के साथ किए गए थे, जो चार नोड H100 क्लस्टर के साथ बाँधा है, अग्रगामी प्रौद्योगिकियों जैसे Axolotl, DeepSpeed और Liger Kernel के संयोजन से अनुप्रयोग प्रोजेक्ट को उपयुक्त बनाता है।
इसके अलावा, Shisa.AI ने अपनी जापानी विशेष बेंचमार्क टूल्स को Open-Source करने की योजना बनाई है, जो जापानी बड़े भाषा मॉडलों के अनुसंधान और मूल्यांकन का समर्थन करेगा और विश्वभर के डेवलपर्स को और भी मदद प्रदान करेगा।
भविष्य का दृष्टिकोण: जापानी AI वैश्विक स्टेज पर
Shisa.AI की सफलता साबित हुई है कि छोटे AI लैबोरेटरीज़ भी वैश्विक AI प्रतिस्पर्धा स्टेज पर एक स्थान जीत सकते हैं। उनके Open-Source मॉडल और डेटासेट के जारी करने से जापानी AI अनुप्रयोगों की लोकप्रियता में बढ़ोतरी हुई है। AIbase विश्वास रखता है कि उनके मॉडल और संसाधनों की निरंतर अपडेटिंग से जापान की स्थिति वैश्विक AI स्टेज पर और मजबूत होगी।
जापानी भाषा के जटिल आवश्यकताओं के साथ विकसित कर्मचारियों के लिए, Shisa V2 श्रृंखला एक मौलिक और मजबूत टूलशेट है। AIbase की सलाह है कि आप Shisa.AI के आधिकारिक वेबसाइट और उनके HuggingFace पेज का पालन करें, जिससे आप और अधिक तकनीकी जानकारी और मॉडल टेस्ट के लिए अवसर प्राप्त कर सकते हैं।
Shisa.AI द्वारा अपनी Shisa V2 श्रृंखला के माध्यम से, जापान की AI निवड़ की शक्ति को प्रदर्शित किया गया है। शास्त्रीय अनुसंधान से लेकर व्यावसायिक अनुप्रयोगों तक, ये Open-Source मॉडल जापानी AI के भविष्य का मार्ग प्रशस्त करते हैं।