Recientemente, el equipo de Bilibili (B站) lanzó oficialmente el 12 de mayo un modelo de generación de video animado llamado AniSora. Esta nueva herramienta permite a los usuarios crear fragmentos de video en varios estilos animados con un solo clic, abarcando tipos como series de episodios, animación original china, adaptaciones de cómics, contenido de VTuber, promociones de anime y animación "mukbang", enriqueciendo las posibilidades de creación animada.
Según el equipo de Bilibili, aunque ya existen varias herramientas de generación de video natural como Sora, Kling y CogVideoX, en el campo de los videos animados, las tecnologías actuales aún no son suficientes. La animación, con su estilo artístico único, movimientos exagerados y su ruptura con las leyes físicas reales, plantea desafíos considerables para la generación de videos. Por lo tanto, el lanzamiento de AniSora llenará este vacío en el sector.
El proyecto AniSora incluye un sistema integral compuesto principalmente por las siguientes partes: en primer lugar, una canalización de procesamiento de datos, que utiliza más de 10 millones de datos de alta calidad para entrenar el modelo; en segundo lugar, AniSora introduce modelos de generación controlable, añadiendo módulos de máscara temporal-espacial que soportan varias funciones clave de la producción de animación, como la generación de imágenes en video, interpolación de fotogramas e imagen guiada local; finalmente, el equipo recopiló 948 segmentos de video animado diversificados para construir un conjunto de datos de evaluación, obteniendo, tras experimentos doble ciego y pruebas VBench, que la consistencia de personajes y movimiento alcanzaron el estándar más alto actual (SOTA).
Para ayudar al público a entender mejor las potentes funciones de AniSora, Bilibili también compartió una serie de ejemplos de videos generados. Por ejemplo, en un video, un personaje sentado en un automóvil se mueve con el viento, mostrando un dinamismo natural; en otro, dos personas vestidas con trajes de boda rojos caminan lentamente hacia la distancia sosteniendo una cuerda roja; y en un tercero, un personaje de cabello dorado toca suavemente a otra persona arrodillada, expresando sutiles emociones.
La dirección del código abierto de AniSora ya está disponible en GitHub y otras plataformas, y los desarrolladores e interesados en la animación pueden visitarlas para explorar y usarla. Con el lanzamiento de esta tecnología, en el futuro podríamos disfrutar de más innovaciones y sorpresas en la creación y visualización de contenido animado.