Recentemente, pesquisadores lançaram uma nova e rápida tecnologia de geração de modelos 3D a partir de texto chamada Meta3D Gen (3DGen). O 3D Gen cria modelos 3D de forma eficiente, com texturas e materiais de alta qualidade, oferecendo aos usuários uma experiência totalmente nova.
Este novo sistema combina duas partes principais: Meta 3D AssetGen, para criar malhas 3D, e Meta 3D TextureGen, para gerar texturas. Essas tecnologias trabalham juntas para produzir ativos 3D com texturas de alta resolução e materiais de renderização baseada em física (PBR). Segundo a Meta, o processo é de três a dez vezes mais rápido do que as soluções existentes.
Meta3D AssetGen
O Meta3D AssetGen (AssetGen) representa um grande avanço na área de geração de 3D a partir de texto, permitindo a geração de ativos 3D de alta qualidade em menos de 1 minuto. O AssetGen gera materiais de renderização baseada em física (PBR), proporcionando efeitos de iluminação realistas e poderosas capacidades de geração de 3D e texturas a partir de texto.
O AssetGen primeiro gera várias visualizações do objeto, incluindo informações de aparência de canais de sombra e reflexão, e então reconstrui a cor, a metalicidade e a rugosidade no espaço 3D, usando a perda de sombreamento atrasado para supervisão eficiente. Ele também usa funções de distância com sinal para representar formas 3D de forma mais confiável e introduz perdas correspondentes para supervisão direta da forma. Para melhorar a eficiência da memória, o método usa núcleos de convolução fundidos. Após a extração da malha, um transformador que realiza o refinamento de textura no espaço UV melhora significativamente a nitidez e os detalhes da textura.
Em comparação com os melhores métodos concorrentes, o AssetGen apresenta uma melhoria de 17% na Distância de Chamfer e 40% no LPIPS; simultaneamente, em um teste de preferência humana com os melhores concorrentes do setor com velocidade equivalente, obteve 72% de aprovação.
Meta3D TextureGen
Os pesquisadores também lançaram o Meta3D TextureGen, um novo método direto composto por duas redes consecutivas, projetado para gerar texturas de alta qualidade e consistência global para geometrias de qualquer complexidade em menos de 20 segundos.
O método alcança resultados de última geração em termos de qualidade e velocidade combinando, no espaço 2D, modelos de geração de imagens a partir de texto com condições semânticas 3D e fundindo-os em um mapeamento de textura UV completo e de alta resolução.
Os pesquisadores também introduziram uma rede de aprimoramento de textura capaz de ampliar qualquer textura em qualquer escala, gerando texturas com resolução de 4K pixels.
Blog oficial: https://ai.meta.com/research/publications/meta-3d-gen/
Destaques:
- O sistema Meta 3D Gen pode criar ativos 3D de alta qualidade em menos de um minuto.
- O Meta3D Gen integra duas tecnologias principais: Meta3D AssetGen e Meta3DTextureGen.
- O AssetGen suporta a geração de materiais de renderização baseada em física, com efeitos de iluminação realistas.
- O Meta3D TextureGen é um método rápido para gerar texturas de alta qualidade, aplicável a geometrias de qualquer complexidade.
