हाल ही में, बी-स्टेशन ने अपने ओपन सोर्स एनिमे वीडियो जनरेशन मॉडल AniSora के बारे में घोषणा की कि इसका महत्वपूर्ण अपडेट हुआ है और इसका संस्करण AniSora V3 हो गया है। यह अपडेट वीडियो जनरेशन की गुणवत्ता और चलते रहने में सुधार करता है और एनिमे शैली के विविधता का विस्तार करता है, जो एनिमे, कॉमिक और VTuber कंटेंट क्रिएटर्स के लिए एक अधिक शक्तिशाली उपकरण प्रदान करता है।
AniSora V3 के चमकदार बिंदु इसकी शक्तिशाली क्षमताएं हैं, जो एक क्लिक में विभिन्न शैलियों के एनिमे वीडियो सीन जनरेट कर सकती है, जैसे कि ओटाकु के टुकड़े, चीनी एनिमे, कॉमिक आधारित और मैड (MAD) सामग्री तक। CogVideoX-5B और Wan2.1-14B मॉडल के आधार पर, V3 संस्करण मजबूत सीखने और मानव प्रतिक्रिया (RLHF) तकनीक के साथ संयोजन में है, जो वीडियो की दृश्य गुणवत्ता और गति सामंजस्य में महत्वपूर्ण सुधार करता है।
विशेष रूप से, AniSora V3 में स्पेस-टाइम मास्क मॉड्यूल की घोषणा की गई है, जिसके कारण मॉडल जटिल एनिमेशन कार्यों के साथ बेहतर काम करता है। उदाहरण के लिए, उपयोगकर्ता केवल सरल संकेत जैसे "पांच लड़कियां लेंस बढ़ाए जाने पर नाचती हैं" के माध्यम से चलती हुई और प्राकृतिक नृत्य एनिमेशन जनरेट कर सकते हैं, जिसमें लेंस और पात्र के कार्य के समायोजन बहुत अच्छा होता है। इसके अलावा, V3 संस्करण डेटा सेट के विस्तार के साथ आता है, जिसमें 10 मिलियन से अधिक उच्च गुणवत्ता एनिमे वीडियो टुकड़ों के साथ शिक्षा दी गई है, जो जनरेट किए गए सामग्री के शैली और विवरण में एकरूपता सुनिश्चित करता है।
हार्डवेयर के बारे में, AniSora V3 में हुआवे एस्सेंड 910B NPU के समर्थन को जोड़ा गया है, जो घरेलू चिप पर शिक्षा के आधार पर है, जिसके कारण अनुमानन गति में लगभग 20% की वृद्धि हुई है। उपयोगकर्ता 4 सेकंड के वीडियो के लिए केवल 2-3 मिनट का समय लेते हैं, जिससे दक्षता में वृद्धि हुई है। साथ ही, V3 में बहुकार्य प्रसंस्करण क्षमता में महत्वपूर्ण सुधार हुआ है, जो एकल फ्रेम छवि से वीडियो जनरेशन, की-फ्रेम इंटरपोलेशन और मुख संगति जैसी क्षमताओं का समर्थन करता है, जो कॉमिक आधारित और VTuber कंटेंट के तेजी से निर्माण के लिए विशेष रूप से उपयुक्त है।
अपने नए बेंचमार्क परीक्षण में, AniSora V3 चरित्र संगतता और गति सुचारूता के मामले में उद्योग में शीर्ष स्तर पर पहुंच गया है, विशेष रूप से जटिल एनिमेशन गतियों के साथ निपटने में बहुत अच्छा प्रदर्शन करता है। इसके अलावा, V3 एनिमे वीडियो जनरेशन के लिए RLHF फ्रेमवर्क के साथ आता है, जो जनरेट किए गए सामग्री को मानव अंतर्दृष्टि के अनुरूप बनाता है। विकासकर्ता अब V3 का उपयोग करके अनुकूलित प्लगइन बना रहे हैं, जो विशिष्ट एनिमे शैली के जनरेशन प्रभाव को आगे बढ़ाते हैं।
AniSora V3 तकनीकी रूप से अपने अपडेट में अहम उपलब्धि हासिल करता है और क्रिएटर्स के लिए एक बहुत ही संभावनाओं वाला रचनात्मक मंच प्रदान करता है। चेतावनी फिल्म या छोटे एनिमे बनाने के लिए, यह उपयोगकर्ता के विचारों को तेजी से अमल में लाने में मदद करता है।
ओपन सोर्स ठिकाना: https://github.com/bilibili/Index-anisora/tree/main
