Récemment, des chercheurs ont publié une nouvelle technologie rapide de génération de modèles 3D à partir de texte, nommée Meta3D Gen (3DGen). 3D Gen crée des modèles 3D de manière efficace, avec des textures et des matériaux de haute qualité, offrant ainsi une expérience utilisateur inédite.
Ce nouveau système combine deux éléments clés : Meta 3D AssetGen pour la création de maillages 3D et Meta 3D TextureGen pour la génération de textures. Ces technologies fonctionnent ensemble pour produire des actifs 3D avec des textures haute résolution et des matériaux basés sur la physique (PBR). Selon Meta, ce processus est trois à dix fois plus rapide que les solutions existantes.
Meta3D AssetGen
Meta3D AssetGen (AssetGen) représente une avancée majeure dans le domaine de la génération 3D à partir de texte, permettant la création d'actifs 3D de haute qualité en moins d'une minute. AssetGen génère des matériaux basés sur le rendu physique (PBR), offrant un rendu réaliste de la lumière et de puissantes capacités de génération 3D et de textures à partir de texte.
AssetGen commence par générer plusieurs vues de l'objet, incluant des informations d'apparence telles que les canaux d'ombre et de réflexion, puis reconstruit la couleur, la métallicité et la rugosité en 3D, utilisant une perte de rendu différé pour une supervision efficace. Il utilise également des fonctions de distance signée pour représenter plus fidèlement les formes 3D et introduit des pertes correspondantes pour une supervision directe de la forme. Pour améliorer l'efficacité de la mémoire, la méthode utilise des noyaux de convolution fusionnés. Après l'extraction du maillage, un transformateur effectuant un raffinement de texture dans l'espace UV améliore considérablement la netteté et les détails de la texture.
Comparé aux meilleures méthodes concurrentes, AssetGen affiche une amélioration de 17 % en termes de distance de Chamfer et de 40 % en termes de LPIPS ; il a également obtenu 72 % de préférence dans un test de préférence humaine par rapport aux meilleurs concurrents du secteur à vitesse comparable.
Meta3D TextureGen
Les chercheurs ont également présenté Meta3D TextureGen, une nouvelle méthode directe composée de deux réseaux consécutifs, conçue pour générer des textures de haute qualité et globalement cohérentes pour des géométries de complexité arbitraire en moins de 20 secondes.
Cette méthode atteint des résultats de pointe en termes de qualité et de vitesse en combinant en espace 2D un modèle de génération d'images à partir de texte avec des conditions sémantiques 3D, et en les fusionnant en une cartographie UV complète et haute résolution.
Les chercheurs ont également introduit un réseau d'amélioration de texture capable de mettre à l'échelle n'importe quelle texture à n'importe quelle résolution, générant des textures à une résolution de 4K pixels.
Blog officiel : https://ai.meta.com/research/publications/meta-3d-gen/
Points clés :
- Le système Meta 3D Gen peut créer des actifs 3D de haute qualité en moins d'une minute.
- Meta3D Gen intègre deux technologies clés : Meta3D AssetGen et Meta3DTextureGen.
- AssetGen prend en charge la génération de matériaux basés sur le rendu physique, avec un rendu réaliste de la lumière.
- Meta3D TextureGen est une méthode rapide de génération de textures de haute qualité, applicable aux géométries de complexité arbitraire.
