Recientemente, el equipo de investigación de Skywork AI lanzó un nuevo marco de generación de video llamado SkyReels-A2, marcando un nuevo hito en la tecnología de generación de video controlable. Este marco, denominado "Elemento a Video (E2V)", puede sintetizar videos naturales a partir de indicaciones de texto, combinando diversos elementos visuales (como personajes, objetos y fondos) y manteniendo una alta coherencia con las imágenes de referencia.
El núcleo de SkyReels-A2 radica en su complejo proceso de procesamiento de datos. El equipo de investigación diseñó un pipeline de construcción de datos completo para generar tríadas que contienen indicaciones, imágenes de referencia y videos, proporcionando así soporte de datos para el entrenamiento del modelo. Su proceso de generación se realiza a través de dos ramas: una rama de características espaciales y una rama de características semánticas. La rama de características espaciales utiliza un autocodificador variacional (VAE) de grano fino para procesar cada elemento constituyente, mientras que la rama de características semánticas utiliza el codificador visual CLIP para extraer información semántica de mayor nivel. Esta estrategia de doble vía asegura que el video generado se ajuste a las indicaciones de texto y mantenga una conexión natural entre los elementos.
Además de garantizar la diversidad y la alta calidad del contenido del video, SkyReels-A2 también optimiza el proceso de inferencia para mejorar la velocidad de generación y la estabilidad de la salida. Esto permite a los usuarios crear contenido de video de calidad profesional más rápidamente. SkyReels-A2 no solo es un modelo comercial de código abierto, sino que también ofrece un enorme potencial creativo para campos como la producción cinematográfica y el comercio electrónico virtual.
Finalmente, el equipo de investigación también lanzó un conjunto de benchmarks de evaluación del sistema, A2Bench, con el objetivo de evaluar exhaustivamente la calidad del video generado. Este benchmark no solo considera los indicadores de evaluación automática, sino también las evaluaciones subjetivas de los usuarios, reflejando de manera multifacética la efectividad de la tarea E2V.
SkyReels-A2 es sin duda una herramienta que cambia las reglas del juego. Esperamos su amplia aplicación en el campo de las aplicaciones creativas, ayudando a los creadores de contenido a superar los cuellos de botella tecnológicos existentes y a lograr una creación más imaginativa.
Dirección del proyecto: https://top.aibase.com/tool/skyreels-a2