Récemment, Alibaba a publié sa dernière innovation technologique, Animate Anyone2, une technologie révolutionnaire permettant le remplacement précis des personnages dans les vidéos. Selon les exemples présentés sur le site officiel du projet, il suffit aux utilisateurs de fournir la vidéo originale et l’image du personnage cible. Le système peut alors remplacer l’image du personnage en temps réel tout en conservant la trajectoire des mouvements de la vidéo originale.
Les données expérimentales montrent que le système peut transférer complètement le mouvement de tir d’un footballeur sur un personnage animé, tout en conservant les caractéristiques physiques réelles de la trajectoire du ballon. Pour répondre aux besoins complexes de la production cinématographique, le système prend également en charge le réglage personnalisé de l’éclairage et l’adaptation de l’environnement d’arrière-plan, permettant une intégration approfondie entre le personnage et la scène.
Le système intègre une technologie de liaison dynamique du squelette qui, grâce au suivi précis de 28 points osseux clés du corps humain, permet de capturer avec précision la trajectoire des mouvements des membres et les micro-expressions faciales. Dans les vidéos de test publiques, que ce soit les mouvements de rotation continus d’un danseur ou les déplacements rapides dans les arts martiaux, le personnage remplacé conserve la fluidité des mouvements.
Sur le plan technique, le système utilise une stratégie de masquage indépendante de la forme, permettant de décrire plus efficacement la relation entre le personnage et l’environnement. De plus, pour améliorer l’interaction entre le personnage et les objets environnants, Animate Anyone2 introduit un guide d’objets léger. Ce guide est chargé d’extraire les caractéristiques des objets en interaction avec le personnage et d’injecter ces caractéristiques dans le processus de débruitage grâce à une technique de fusion spatiale. Cette conception permet une interaction plus fluide et réaliste entre le personnage, l’environnement et les objets pendant le mouvement.
Les résultats expérimentaux montrent qu’Animate Anyone2 excelle dans la génération d’animations de personnages adaptatives à l’environnement. Comparé aux produits similaires actuellement sur le marché, tels que Viggle et MIMO, Animate Anyone2 affiche un niveau supérieur en termes de cohérence des personnages, de préservation des détails et de réalisme de l’interaction. Cela marque une nouvelle étape dans le développement des technologies d’animation de personnages.
Avec le lancement d’Animate Anyone2, le potentiel d’application de l’animation de personnages dans les jeux vidéo, la production cinématographique et la réalité virtuelle s’élargit. Il offre non seulement aux animateurs des outils plus puissants, mais aussi aux spectateurs une expérience visuelle plus vivante et réaliste.
Projet : https://humanaigc.github.io/animate-anyone-2/
Points clés :
🌍 Animate Anyone2 capture les caractéristiques de l’environnement pour créer une interaction réaliste entre le personnage et son environnement.
🎨 La nouvelle technologie intègre un guide d’objets et une fusion spatiale pour améliorer l’interaction entre le personnage et les objets.
🚀 Comparé aux technologies similaires, Animate Anyone2 présente des avantages significatifs en termes de détails et de cohérence.