Kürzlich hat das Bilibili-Team (kurz B 站) am 12. Mai offiziell einen neuartigen Anime-Videogeneratormodell namens AniSora veröffentlicht. Mit dieser neuen Tools können Nutzer einfach verschiedene Anime-Stil-Videoclips erstellen, die Serienfolgen, chinesische Originalanimationen, Manga-Adaptionen, VTuber-Inhalte, Anime-Promotionsfilme sowie Ghost-Humor-Animationen umfassen und so die Möglichkeiten der Anime-Kreation erweitern.
Das Team von Bilibili betonte, dass es auf dem Markt bereits mehrere natürliche Videogeneratormodelle wie Sora, Kling und CogVideoX gibt. Allerdings sind die bestehenden Technologien in Bezug auf Anime-Videos weiterhin begrenzt. Anime zeichnet sich durch seine einzigartige Kunstform, überspitzte Bewegungen und eine Abweichung von den realitätsnahen physikalischen Gesetzen aus, was die Erstellung von Videos zu einer großen Herausforderung macht. Daher wird mit der Einführung von AniSora ein Lückenfüller für dieses Gebiet geschaffen.
Das AniSora-Projekt umfasst ein komplettes System, das aus folgenden Hauptbestandteilen besteht: Zuerst die Datenverarbeitungs-Pipeline, wobei das Modell über mehr als 10 Millionen hochwertige Datensätze verfügt; dann wurde ein kontrollierbarer Generativmodell in AniSora eingebaut, welches ein räumlich-zeitliches Maske-Modul integriert und mehrere wichtige Animationserstellungsfeatures unterstützt, wie z.B. Bild-zu-Video-Generierung, Frame-Interpolation und lokale Bild-Leitung; schließlich sammelten die Teammitglieder 948 diversifizierte Animationsvideos und erstellten einen Evaluationsdatensatz, der nach doppeltem Blindtest und VBench-Test eine Personenkonsistenz und Bewegungskonsistenz von höchster Qualität (SOTA) erreichte.
Um dem Publikum besser die beeindruckenden Funktionen von AniSora zu verdeutlichen, teilte Bilibili auch eine Reihe von generierten Videobeispielen mit. Zum Beispiel zeigt ein Video eine Figur, die in einem fahrenden Auto sitzt, deren Haare vom Fahrtwind naturgemäß bewegt werden; in einem anderen Video gehen zwei in rote Hochzeitskleider gekleidete Personen mit einem roten Seil langsam in die Ferne; im dritten Beispiel streckt eine blonde Figur ihre Hand aus und berührt sanft die kniende Person, was feine emotionale Ausdrucksfähigkeit zeigt.
Der Open-Source-Link für AniSora ist auf GitHub und anderen Plattformen verfügbar, interessierte Entwickler und Anime-Fans können dort nachschauen und verwenden. Mit der Einführung dieser Technologie könnten wir in Zukunft bei der Schaffung und dem Genuss von Anime-Inhalten noch mehr Innovationen und Überraschungen erleben.