ChinaZ.com (站长之家) - 17 de junho de 2024: O Hallo permite a geração de vídeos de personagens cantando e falando a partir de uma única imagem e entrada de áudio, com controle sobre as expressões faciais e poses do personagem no vídeo. Essa tecnologia é baseada em um método de síntese visual acionado por áudio hierárquico baseado em modelos de difusão, projetado para melhorar a precisão do alinhamento entre a entrada de voz e a animação gerada, incluindo sincronização de lábios, expressões e poses.

Principais Funcionalidades:

  • Geração de Animação de Personagens Virtuais: Gera animações de personagens virtuais realistas e dinâmicas a partir de entrada de áudio de voz, com sincronização precisa de movimentos labiais, expressões e poses.

  • Geração de Animação de Personagens Reais: Aplica a tecnologia a pessoas reais, gerando animações que refletem com precisão as mudanças de expressão e movimento da pessoa real.

  • Múltiplos Controles de Movimento: Oferece controle preciso sobre as expressões faciais, poses e movimentos labiais do personagem, suportando o controle adaptativo de várias expressões e poses para aumentar a diversidade e o realismo da animação.

  • Aplicável a Vários Atores: Suporta a geração de animações personalizadas para diferentes identidades, gerando efeitos de animação adaptados a diferentes papéis através da entrada de áudio.

  • Geração de Animação de Canto: Gera animações de canto sincronizadas a partir de entrada de áudio de voz e música, com a animação refletindo com precisão os movimentos labiais e expressões faciais durante o canto.

Essa tecnologia gera animações com sincronização labial, mudanças de expressão e poses de personagens a partir da entrada de voz, melhorando a precisão do alinhamento entre a voz e a animação gerada, fazendo com que os lábios, expressões e poses da animação correspondam melhor à voz. As tecnologias e estruturas avançadas empregadas aprimoram a capacidade de tempo real e os efeitos visuais da geração de animação, tornando as animações geradas mais realistas e naturais.

Os resultados dessa pesquisa não apenas apresentam inovação acadêmica, mas também demonstram um enorme potencial em aplicações práticas, como em entretenimento, educação, assistentes virtuais e outros campos de mídia multimídia. Com essa tecnologia, os usuários podem interagir de forma mais intuitiva e vívida com personagens virtuais, desfrutando de uma experiência mais rica e realista.

Endereço do Projeto: https://top.aibase.com/tool/hallo