Recientemente, los investigadores han publicado una nueva y rápida tecnología de generación de modelos 3D a partir de texto llamada Meta3D Gen (3DGen). 3D Gen crea modelos 3D de alta calidad con texturas y materiales de gran calidad de forma eficiente, ofreciendo a los usuarios una experiencia completamente nueva.
Este nuevo sistema combina dos partes clave: Meta 3D AssetGen para la creación de mallas 3D y Meta 3D TextureGen para la generación de texturas. Estas tecnologías trabajan juntas para producir activos 3D con texturas de alta resolución y materiales de renderizado basado en física (PBR). Según Meta, el proceso es de tres a diez veces más rápido que las soluciones existentes.
Meta3D AssetGen
Meta3D AssetGen (AssetGen) representa un gran avance en el campo de la generación de 3D a partir de texto, permitiendo la generación de activos 3D de alta calidad en menos de un minuto. AssetGen genera materiales de renderizado basado en física (PBR), logrando efectos de iluminación realistas y una potente capacidad de generación de 3D y texturas a partir de texto.
AssetGen primero genera varias vistas del objeto, incluyendo información de apariencia como canales de sombras y reflejos, y luego reconstruye el color, la metalicidad y la rugosidad en el espacio 3D, utilizando la pérdida de sombreado diferido para una supervisión eficiente. También utiliza funciones de distancia con signo para representar formas 3D de manera más confiable e introduce pérdidas correspondientes para la supervisión directa de la forma. Para mejorar la eficiencia de la memoria, el método utiliza núcleos de convolución fusionados. Después de extraer la malla, un transformador que realiza el refinamiento de texturas en el espacio UV mejora significativamente la nitidez y el detalle de las texturas.
En comparación con los mejores métodos competidores, AssetGen muestra una mejora del 17% en la Distancia de Chamfer y del 40% en LPIPS; al mismo tiempo, obtuvo un 72% de preferencia en las pruebas de preferencia humana con los mejores competidores de la industria a la misma velocidad.
Meta3D TextureGen
Los investigadores también presentaron Meta3D TextureGen, un nuevo método de avance compuesto por dos redes consecutivas, diseñado para generar texturas de alta calidad y globalmente consistentes para geometrías de cualquier complejidad en menos de 20 segundos.
Este método logra resultados de vanguardia en calidad y velocidad al combinar en el espacio 2D modelos de generación de imágenes a partir de texto con condiciones semánticas 3D, y fusionarlos en un mapa de textura UV completo y de alta resolución.
Los investigadores también introdujeron una red de mejora de texturas capaz de ampliar cualquier textura a cualquier escala, generando texturas con una resolución de 4K píxeles.
Blog oficial: https://ai.meta.com/research/publications/meta-3d-gen/
Puntos clave:
- El sistema Meta 3D Gen puede crear activos 3D de alta calidad en menos de un minuto.
- Meta3D Gen integra dos tecnologías principales: Meta3D AssetGen y Meta3DTextureGen.
- AssetGen admite la generación de materiales de renderizado basados en física, con efectos de reiluminación realistas.
- Meta3D TextureGen es un método rápido para generar texturas de alta calidad, aplicable a geometrías de cualquier complejidad.
