Récemment, l'équipe de Bilibili (alias B站) a officiellement ouvert une source pour un modèle généré de vidéos d'animation appelé AniSora le 12 mai. Cet outil permet aux utilisateurs de créer facilement des fragments vidéo dans divers styles d'animation en un seul clic, couvrant des séries télévisées, des animations originales chinoises, des adaptations de bandes dessinées, du contenu VTuber, des bandes-annonces d'anime et des animations de type "kuso", enrichissant ainsi les possibilités de création dans le domaine de l'animation.
L'équipe de Bilibili a souligné qu'il existe déjà plusieurs modèles génératifs vidéo naturels sur le marché, tels que Sora, Kling et CogVideoX. Cependant, dans le domaine des vidéos d'animation, les technologies actuelles sont encore insuffisantes. L'animation, avec son style artistique unique, ses mouvements exagérés et sa rupture avec les lois physiques réelles, pose des défis notables à la génération vidéo. Par conséquent, la sortie d'AniSora comblera ce vide dans le domaine.
Le projet AniSora comprend un ensemble complet de systèmes, principalement composé des parties suivantes : tout d'abord, une chaîne de traitement de données, qui utilise plus de 10 millions de données de haute qualité pour former le modèle ; ensuite, AniSora introduit un modèle génératif contrôlable, ajoutant un module de masque temporel pour supporter diverses fonctionnalités essentielles de production d'animation, comme la génération d'image en vidéo, l'interpolation de cadre et la mise en forme d'images locales ; enfin, l'équipe a collecté 948 vidéos d'animation diversifiées pour établir un jeu de données d'évaluation, après des tests en double aveugle et des tests VBench, la cohérence des personnages et celle des mouvements ont atteint les standards actuels les plus élevés (SOTA).
Pour aider le public à mieux comprendre les puissantes fonctionnalités d'AniSora, Bilibili a partagé une série d'exemples de vidéos générées. Par exemple, dans une vidéo, un personnage assis dans une voiture en mouvement montre un mouvement naturel de cheveux au vent ; dans une autre scène, deux personnages en vêtements de mariage rouge avancent lentement vers l'horizon en tenant une corde rouge ; tandis qu'une troisième vidéo montre un personnage blond toucher délicatement un personnage à genoux, exprimant une émotion subtile.
L'adresse open source d'AniSora est désormais disponible sur GitHub et d'autres plateformes, où les développeurs intéressés et les amateurs d'animation peuvent consulter et utiliser. Avec l'introduction de cette technologie, nous pourrons peut-être découvrir davantage d'innovations et de surprises dans la création et la visualisation de contenus animés à l'avenir.