Na era da onda digital que varre o mundo, os avatares virtuais se tornaram silenciosamente uma parte essencial do nosso dia a dia.
No entanto, usuários que costumam trabalhar com geração de vídeo a partir de imagens + dublagem encontram um problema constrangedor: não importa o quão realista seja a geração do seu "personagem", a boca entrega tudo.
Observação da fonte: imagem gerada por IA, fornecedora de serviços de licenciamento de imagens Midjourney
Em poucas palavras, o som e a imagem são completamente dissociados. Qualquer pessoa percebe que a voz não é da personagem, ou que, naquele contexto, as pessoas não deveriam ouvir aquele som.
Agora, esse problema constrangedor finalmente foi resolvido!
Recentemente, uma tecnologia inovadora chamada LOOPY surgiu, quebrando as barreiras da animação tradicional de avatares virtuais e injetando vitalidade sem precedentes no mundo digital.
O núcleo da tecnologia reside em seu exclusivo módulo de captura de informações de movimento de longo prazo. O Loopy suporta diversos estilos visuais e de áudio. É como um coreógrafo experiente, capaz de "conduzir" com precisão cada movimento sutil do avatar virtual com base no ritmo e na emoção do áudio. Por exemplo, movimentos não vocais como suspiros, movimentos de sobrancelhas e olhos impulsionados pelas emoções e movimentos naturais da cabeça.
Neste vídeo, por exemplo, os movimentos dos olhos e do pescoço de Taylor enquanto fala correspondem perfeitamente às expectativas. Ao observá-la falar, parece natural que ela se mova dessa maneira. Inclusive os sons ambientes e de cena enquanto a personagem fala, tudo parece "natural".
O LOOPY também se destaca com personagens irreais. Seja a expressão delicada de um cantor, as mudanças de sobrancelhas e olhos sincronizadas com as emoções ou um suspiro suave, o LOOPY consegue representar tudo perfeitamente.
Ainda mais surpreendente é a capacidade de gerar diferentes efeitos de movimento para a mesma imagem de referência, dependendo do áudio, desde algo cheio de energia até algo suave e delicado. Essa flexibilidade oferece aos criadores um espaço ilimitado para a imaginação.
Em aplicações práticas, o LOOPY demonstrou desempenho excepcional. Através de testes em diversos conjuntos de dados do mundo real, ele não só superou os modelos atuais de difusão de retratos acionados por áudio em termos de naturalidade, mas também gerou resultados de alta qualidade e realismo em cenários complexos.
Vale destacar que o LOOPY também se destaca no processamento de retratos de perfil, o que sem dúvida impulsionará ainda mais a expressividade dos avatares virtuais.
O surgimento do LOOPY abriu uma nova porta para o mundo virtual. Ele não apenas pode se destacar em jogos, produção cinematográfica e realidade virtual, melhorando a experiência do usuário, mas também oferece aos criadores uma plataforma criativa mais ampla. Com o avanço contínuo da tecnologia, o potencial do LOOPY está sendo explorado ainda mais, e é provável que se torne um novo marco na evolução da tecnologia de avatares virtuais.
Endereço do projeto: https://loopyavatar.github.io/
