Rhymes AI ha lanzado recientemente Allegro-TI2V, su revolucionario modelo de generación de vídeo a partir de texto e imagen. Esta tecnología innovadora abre nuevas fronteras en la creación de contenido digital. Como el último avance en IA generativa, Allegro-TI2V proporciona a los creativos herramientas de narración visual sin precedentes, lo que demuestra el enorme potencial de la IA en el ámbito creativo.

QQ20241129-143110.png

Allegro-TI2V destaca en varias especificaciones técnicas, admitiendo una longitud de contexto de hasta 79.2K, equivalente a 88 fotogramas de vídeo. Su resolución de salida es de 720×1280 píxeles, con una velocidad de generación de vídeo de 15 fotogramas por segundo. Los usuarios también pueden optar por interpolar a 30 FPS para satisfacer las necesidades de diferentes escenarios de aplicación. La arquitectura del modelo es muy compleja, incluyendo un modelo VideoVAE con 175 millones de parámetros y un modelo VideoDiT con 2800 millones de parámetros, lo que le permite capturar con precisión la esencia de las indicaciones de texto y las imágenes iniciales introducidas por el usuario. Además, Allegro-TI2V admite modos de precisión múltiple (FP32, BF16, FP16). En el modo BF16, la generación de vídeo solo requiere 9,3 GB de memoria GPU, lo que reduce considerablemente las necesidades de hardware.

La innovación de Allegro-TI2V radica en la introducción de dos nuevos modos de generación: Generación de vídeo posterior: Crea contenido de vídeo continuo basándose en indicaciones de texto y un fotograma inicial. Este modo ayuda a los creadores a generar fácilmente vídeos que se ajusten a un tema y estilo determinados. Generación de vídeo intermedia: Genera fotogramas intermedios con transiciones naturales a partir de los fotogramas inicial y final de un vídeo dado, rompiendo las limitaciones tradicionales de tiempo y espacio de la edición de vídeo.

Estos modos innovadores permiten a Allegro-TI2V ofrecer a los creadores una forma más eficiente y flexible de crear vídeos, mejorando considerablemente la eficiencia y la calidad de la creación.

Rhymes AI ha lanzado Allegro-TI2V bajo la licencia Apache2.0, facilitando el acceso y el uso de esta tecnología para investigadores, desarrolladores y creadores de contenido. Solo necesita instalar Python3.10+, PyTorch2.4+ y CUDA12.4+ para empezar a usar y experimentar rápidamente esta tecnología avanzada.

QQ20241129-143210.png

Las perspectivas de aplicación de Allegro-TI2V son muy amplias, desde la producción cinematográfica y el desarrollo de juegos hasta el arte digital y los prototipos creativos, donde puede desplegar plenamente su potente capacidad de generación. Según los datos proporcionados por los desarrolladores, una sola GPU H100 puede generar 6 segundos de vídeo en aproximadamente 20 minutos, mientras que con una configuración de 8 GPU H100, el tiempo de generación se reduce a 3 minutos, lo que mejora significativamente la eficiencia de la creación de contenido de vídeo.

Dirección de uso: https://huggingface.co/rhymes-ai/Allegro-TI2V

Dirección del producto: https://rhymes.ai/blog-details/allegro-advanced-video-generation-model