Rhymes AI ने हाल ही में अपने क्रांतिकारी टेक्स्ट-इमेज से वीडियो जनरेशन मॉडल Allegro-TI2V को जारी किया है, जो डिजिटल सामग्री निर्माण के लिए नए क्षितिज खोलता है। जनरेटिव AI के नवीनतम विकास के रूप में, Allegro-TI2V रचनात्मक कार्यकर्ताओं को अभूतपूर्व दृश्य कथा उपकरण प्रदान करता है, जो रचनात्मक क्षेत्र में AI तकनीक की विशाल संभावनाओं का प्रतीक है।
Allegro-TI2V कई तकनीकी विशिष्टताओं में उत्कृष्ट प्रदर्शन करता है, 79.2K तक के संदर्भ की लंबाई का समर्थन करता है, जो 88 फ्रेम के वीडियो के बराबर है। इसका आउटपुट रिज़ॉल्यूशन 720×1280 पिक्सेल है, वीडियो जनरेशन की गति प्रति सेकंड 15 फ्रेम है, और उपयोगकर्ता 30FPS तक इंटरपोलेशन का विकल्प भी चुन सकते हैं, ताकि विभिन्न अनुप्रयोग परिदृश्यों की आवश्यकताओं को पूरा किया जा सके। इस मॉडल की संरचना बहुत जटिल है, जिसमें 1.75 करोड़ पैरामीटर वाला VideoVAE और 2.8 अरब पैरामीटर वाला VideoDiT मॉडल शामिल है, जिससे यह उपयोगकर्ता द्वारा दिए गए टेक्स्ट संकेतों और प्रारंभिक छवियों की प्रकृति को सटीक रूप से पकड़ने में सक्षम है। इसके अलावा, Allegro-TI2V बहु-सटीकता मोड (FP32, BF16, FP16) का समर्थन करता है, BF16 मोड में, जनरेटेड वीडियो के लिए केवल 9.3GB GPU मेमोरी की आवश्यकता होती है, जिससे हार्डवेयर की आवश्यकता काफी कम हो जाती है।
Allegro-TI2V की नवाचार में दो नए जनरेशन मोड शामिल हैं: अनुक्रमिक वीडियो जनरेशन: टेक्स्ट संकेत और प्रारंभिक फ्रेम के आधार पर, निरंतर वीडियो सामग्री बनाना। यह मोड रचनाकारों को निर्धारित विषय और शैली के अनुसार वीडियो बनाने में मदद करता है। मध्य वीडियो जनरेशन: दिए गए वीडियो के प्रारंभिक और अंतिम फ्रेम के आधार पर, स्वाभाविक रूप से संक्रमण वाले मध्य फ्रेम बनाना, पारंपरिक वीडियो संपादन की समय और स्थान की सीमाओं को तोड़ता है।
ये नवाचार मोड Allegro-TI2V को रचनाकारों को अधिक प्रभावी और लचीले वीडियो निर्माण के तरीके प्रदान करने में सक्षम बनाते हैं, जिससे निर्माण की दक्षता और गुणवत्ता में काफी सुधार होता है।
Rhymes AI ने Apache2.0 लाइसेंस के तहत Allegro-TI2V को जारी किया है, जिससे शोधकर्ताओं, डेवलपर्स और सामग्री निर्माताओं के लिए इस तकनीक तक पहुंच और उपयोग करना आसान हो जाता है। उपयोगकर्ताओं को केवल Python3.10+, PyTorch2.4+ और CUDA12.4+ स्थापित करने की आवश्यकता है, ताकि वे इस उन्नत तकनीक का अनुभव कर सकें।
Allegro-TI2V के उपयोग की संभावनाएं बहुत व्यापक हैं, फिल्म निर्माण, गेम विकास से लेकर डिजिटल कला और रचनात्मक प्रोटोटाइप तक, इसकी शक्तिशाली जनरेशन क्षमताओं का पूरा लाभ उठाया जा सकता है। डेवलपर्स द्वारा प्रदान किए गए डेटा के अनुसार, एकल H100 GPU लगभग 20 मिनट में 6 सेकंड का वीडियो जनरेट कर सकता है, जबकि 8 H100 GPU कॉन्फ़िगरेशन का उपयोग करते समय, जनरेशन का समय 3 मिनट तक कम हो जाता है, जिससे वीडियो सामग्री निर्माण की दक्षता में उल्लेखनीय वृद्धि होती है।
उपयोग का पता: https://huggingface.co/rhymes-ai/Allegro-TI2V
उत्पाद का पता: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
