ChinaZ.com (站长之家) 17 de junio de 2024: Hallo permite generar videos de personajes cantando y hablando a partir de una sola imagen y entrada de audio, con control sobre las expresiones faciales y posturas del personaje en el video. Esta tecnología se basa en un método de síntesis visual impulsado por audio jerárquico basado en modelos de difusión, diseñado para mejorar la precisión de la alineación entre la entrada de voz y la animación generada, incluyendo la sincronización de labios, expresiones y posturas.
Funciones principales:
Generación de animación de personajes virtuales: Genera animaciones de personajes virtuales realistas y dinámicas a partir de la entrada de audio de voz, logrando una sincronización precisa de la boca, las expresiones y las posturas.
Generación de animación de personajes reales: Aplica la tecnología a personas reales, generando animaciones que reflejan con precisión los cambios de expresión y movimiento de la persona real.
Control de movimiento múltiple: Ofrece un control preciso sobre las expresiones faciales, las posturas y el movimiento de los labios del personaje, admite el control adaptativo de diversas expresiones y posturas para mejorar la diversidad y el realismo de la animación.
Aplicación entre actores: Admite la generación de animaciones personalizadas para diferentes identidades, generando efectos de animación adaptados a diferentes identidades de personajes a través de la entrada de audio.
Generación de animación de canto: Genera animaciones de canto sincronizadas a partir de la entrada de audio de voz y canciones, y la animación refleja con precisión los cambios en la boca y las expresiones durante el canto.
Esta tecnología genera animaciones de sincronización de labios, cambios de expresión y cambios de postura de personajes a partir de la entrada de voz, mejorando la precisión de la alineación entre la voz y la animación generada, haciendo que los labios, las expresiones y las posturas de la animación coincidan mejor con la voz. Las tecnologías y estructuras avanzadas empleadas mejoran la capacidad de tiempo real y los efectos visuales de la generación de animaciones, haciendo que las animaciones generadas sean más realistas y naturales.
Los resultados de esta investigación no solo son innovadores desde el punto de vista académico, sino que también muestran un enorme potencial en aplicaciones prácticas, como en entretenimiento, educación, asistentes virtuales y otros campos multimedia. Esta tecnología permite a los usuarios interactuar de forma más intuitiva y vívida con personajes virtuales, disfrutando de una experiencia más rica y realista.
Dirección del proyecto: https://top.aibase.com/tool/hallo