Recentemente, uma equipe de pesquisa da Universidade de Hong Kong, da Harbin Institute of Technology e da Zhejiang University lançou uma tecnologia inovadora chamada "OmniPart". Essa tecnologia visa resolver as limitações das atuais modelos de geração 3D no que diz respeito à construção de detalhes, tornando os modelos 3D gerados não apenas visualmente realistas, mas também com uma estrutura clara de componentes.
Os modelos atuais de geração 3D, como o DreamFusion e o TRELLIS, apesar de serem capazes de gerar formas 3D que parecem completas, carecem de uma estrutura interna de componentes, dificultando a modificação de detalhes. Por exemplo, ao ajustar o braço de um personagem 3D ou os engrenagens de um dispositivo mecânico, esses modelos se mostram muito difíceis de usar, pois não permitem um controle preciso nos níveis dos componentes. Para resolver esse problema, a proposta do OmniPart visa garantir a independência entre os componentes, ao mesmo tempo em que forma um todo razoável.
O OmniPart utiliza um framework inovador de geração em duas etapas. Na primeira etapa, o planejamento da estrutura é realizado por meio de um modelo autoregressivo e máscaras flexíveis de componentes 2D, planejando a disposição espacial dos componentes 3D. O modelo autoregressivo gera gradualmente os limites de cada componente com base nas informações sequenciais existentes, sendo a geração dos limites flexível e eficiente. Para garantir que os limites gerados cubram os componentes correspondentes do objeto, o OmniPart também desenvolveu uma nova função de perda de cobertura de componentes, melhorando assim o desempenho da geração.
Na segunda etapa, o OmniPart gera de forma eficiente representações 3D de alta qualidade para todos os componentes com base na disposição dos componentes gerada na primeira etapa, utilizando o gerador 3D pré-treinado TRELLIS. Nessa etapa, especial atenção é dada à percepção semântica de cada componente e à consistência da estrutura geral, garantindo que os componentes gerados sejam independentes semanticamente, mas conectados estruturalmente. Além disso, o OmniPart introduz um mecanismo de descarte de voxels, aumentando ainda mais a precisão e a eficiência do modelo.
Essa tecnologia representa uma importante evolução na área de modelagem 3D, tendo potencial para ser amplamente aplicada em várias áreas criativas, como desenvolvimento de jogos e produção de animações.
Projeto: https://omnipart.github.io/
Principais pontos:
🌟 A tecnologia OmniPart permite a independência dos componentes dos modelos 3D, tornando o design criativo mais flexível.
🔍 Utiliza um framework de geração em duas etapas com modelo autoregressivo e máscaras de componentes, aumentando a precisão da modelagem 3D.
🚀 Mecanismos inovadores, como o descarte de voxels, melhoram o desempenho do modelo em cenários complexos.
