Rhymes AI a récemment lancé Allegro-TI2V, son modèle révolutionnaire de génération de vidéo à partir de texte et d'image. Cette avancée technologique ouvre de nouvelles perspectives pour la création de contenu numérique. Allegro-TI2V, fruit des dernières avancées en matière d'IA générative, offre aux créateurs d'outils de narration visuelle sans précédent, soulignant l'énorme potentiel de l'IA dans le domaine de la créativité.
Allegro-TI2V excelle sur plusieurs plans techniques : il prend en charge une longueur de contexte allant jusqu'à 79,2K, soit l'équivalent de 88 images vidéo. Sa résolution de sortie est de 720×1280 pixels, avec une vitesse de génération de 15 images par seconde. Les utilisateurs peuvent également choisir une interpolation à 30 FPS pour répondre aux besoins des différentes applications. L'architecture du modèle est très complexe, intégrant un VideoVAE de 175 millions de paramètres et un modèle VideoDiT de 2,8 milliards de paramètres, lui permettant de capturer avec précision l'essence des invites textuelles et de l'image initiale fournies par l'utilisateur. De plus, Allegro-TI2V prend en charge plusieurs modes de précision (FP32, BF16, FP16). En mode BF16, la génération vidéo ne nécessite que 9,3 Go de mémoire GPU, réduisant considérablement les exigences matérielles.
L'innovation d'Allegro-TI2V réside dans l'introduction de deux nouveaux modes de génération : Génération vidéo consécutive : création de contenu vidéo continu basé sur une invite textuelle et une image initiale. Ce mode permet aux créateurs de générer facilement des vidéos conformes à un thème et à un style définis. Génération vidéo intermédiaire : génération d'images intermédiaires avec une transition naturelle à partir des images de début et de fin d'une vidéo donnée, brisant les limites traditionnelles du temps et de l'espace dans le montage vidéo.
Ces modes innovants permettent à Allegro-TI2V d'offrir aux créateurs un processus de création vidéo plus efficace et plus flexible, améliorant considérablement l'efficacité et la qualité de la création.
Rhymes AI a publié Allegro-TI2V sous la licence Apache2.0, facilitant ainsi l'accès et l'utilisation de cette technologie pour les chercheurs, les développeurs et les créateurs de contenu. Il suffit d'installer Python3.10+, PyTorch2.4+ et CUDA12.4+ pour commencer à utiliser rapidement cette technologie de pointe.
Les perspectives d'application d'Allegro-TI2V sont extrêmement vastes, de la production cinématographique au développement de jeux vidéo, en passant par l'art numérique et les prototypes créatifs. Selon les données fournies par les développeurs, un seul GPU H100 peut générer 6 secondes de vidéo en environ 20 minutes, tandis qu'une configuration avec 8 GPU H100 réduit le temps de génération à 3 minutes, améliorant considérablement l'efficacité de la création de contenu vidéo.
Adresse d'utilisation : https://huggingface.co/rhymes-ai/Allegro-TI2V
Adresse du produit : https://rhymes.ai/blog-details/allegro-advanced-video-generation-model
