Recentemente, uma equipe de pesquisa da Universidade Carnegie Mellon lançou uma nova tecnologia chamada "DressRecon", que visa reconstruir modelos corporais consistentes no tempo a partir de vídeos monaurais. O DressRecon é impressionante porque não apenas constrói modelos 3D a partir de vídeos de entrada, mas também restaura detalhes sutis, como roupas complexas e objetos mantidos nas mãos.
Esta tecnologia é particularmente adequada para cenários com roupas largas ou interação com objetos mantidos nas mãos, superando as limitações das tecnologias anteriores. A reconstrução corporal anterior geralmente exigia roupas justas, captura de dados com calibração multi-ângulo ou até mesmo digitalização personalizada, dificultando a coleta em larga escala.
A inovação do "DressRecon" reside na combinação de conhecimento prévio da forma corporal geral e deformação da forma específica do vídeo, permitindo otimização em um único vídeo.
Para capturar características geométricas sutis das roupas, a equipe de pesquisa utilizou conhecimento prévio baseado em imagens, incluindo postura corporal, normais de superfície e fluxo óptico. Essas informações forneceram suporte adicional durante o processo de otimização, tornando a reconstrução mais realista.
O DressRecon pode extrair modelos tridimensionais de alta fidelidade a partir de uma única entrada de vídeo e, com otimização adicional, pode ser convertido em um sólido gaussiano tridimensional explícito para melhorar a qualidade de renderização e suportar visualização interativa.
Os pesquisadores demonstraram os resultados de reconstrução 3D de alta fidelidade do DressRecon em conjuntos de dados com deformações de roupas e interações de objetos extremamente desafiadoras.
Além disso, a imagem virtual reconstruída pode ser renderizada de qualquer ângulo, exibindo um efeito visual impressionante. A equipe também comparou o desempenho do DressRecon com várias tecnologias de referência na reconstrução de formas, mostrando que o DressRecon apresenta maior fidelidade no tratamento de estruturas de deformação complexas.
Acesso ao projeto: https://jefftan969.github.io/dressrecon/
Destaques:
👗 A equipe de pesquisa lançou a tecnologia DressRecon, que realiza reconstrução corporal de alta qualidade a partir de vídeos monaurais, especialmente adequada para cenários com roupas largas e objetos mantidos nas mãos.
📷 Usando um modelo implícito neural, esta tecnologia separa o processamento da deformação do corpo e da roupa, utilizando conhecimento prévio baseado em imagens para capturar características geométricas sutis.
🎥 O resultado da reconstrução não apenas gera modelos tridimensionais de alta fidelidade, mas também suporta renderização de qualquer ângulo, melhorando a experiência de visualização.