Google ha lanzado recientemente su nuevo modelo de generación de videos, Veo3, lo que marca un gran avance en la tecnología de video impulsada por IA. Este nuevo modelo permite la generación sincrónica de audio y video, pudiendo crear videos de alta calidad con diálogos alineados con los labios, efectos de sonido ambientales y más, todo basado en las palabras clave proporcionadas por el usuario. Esta innovación ha superado las barreras multimodales en la creación de videos, permitiendo que los videos no solo se muevan, sino también "hablen".
El núcleo de la tecnología de Veo3 es el algoritmo llamado V2A (Video-to-Audio), que convierte la información visual del video en señales semánticas y las combina con pistas de texto para generar pistas de audio. Con los vastos recursos de datos acumulados en plataformas como YouTube, Veo3 muestra un rendimiento impresionante en la síntesis de audio y video. Aunque actualmente está disponible solo para usuarios de suscripción avanzada en Estados Unidos, su lanzamiento sin duda abre nuevas posibilidades en el campo de la creación de videos.
Nota de la fuente: La imagen fue generada por IA, con servicio de autorización de imágenes proporcionado por Midjourney.
Las funciones poderosas de Veo3 se destacan en varios aspectos. En primer lugar, puede generar automáticamente diálogos con movimientos de labios alineados y efectos de sonido realistas. Por ejemplo, el usuario solo necesita ingresar una simple palabra clave, y Veo3 generará un escenario completo de video con diálogos, efectos de sonido ambientales e incluso risas del público, lo que brinda una sensación de realidad sorprendente. En segundo lugar, Veo3 tiene la capacidad de comprender prompts complejos y puede generar fragmentos de video lógicos y ordenados en el tiempo, algo que era muy difícil de lograr en modelos de generación de video anteriores. Por último, el modelo destaca en la simulación de sonidos del mundo físico, como pasos o sonidos de cocina, lo que hace que los videos sean más vívidos e inmersivos.
A pesar de que la longitud de los videos generados por Veo3 está limitada a 8 segundos y actualmente solo está disponible para usuarios con una suscripción avanzada de 249,99 dólares, su capacidad de sincronización de audio y video ya ha captado mucha atención. En el futuro, con el desarrollo adicional de la tecnología, sin duda Veo3 elevará la tecnología de generación de videos a un nivel completamente nuevo.