Le groupe Seed de ByteDance a récemment annoncé le lancement du modèle d'IA de génération 3D Seed3D 1.0, qui est capable de générer des modèles 3D de haute qualité à partir d'une seule image, en générant des géométries détaillées, des textures réalistes et des matériaux basés sur le rendu physique (PBR). Cette innovation promet de fournir un puissant simulateur mondial pour le développement de l'intelligence incarnée, en résolvant les problèmes de capacité d'interaction physique et de diversité du contenu dans les technologies actuelles.
Lors du développement, l'équipe Seed a collecté et traité un grand volume de données 3D de haute qualité, créant ainsi une chaîne de traitement des données en trois étapes, transformant ainsi les données brutes hétérogènes en un ensemble d'entraînement de haute qualité. Seed3D 1.0 utilise un modèle basé sur l'architecture Diffusion Transformer, permettant une génération rapide de modèles 3D de niveau de simulation à partir d'une seule image. Le modèle se distingue particulièrement dans la génération de géométrie, en pouvant construire précisément les détails structurels tout en garantissant l'intégrité physique ; dans la génération de textures, grâce à une architecture Diffusion Transformer multimodale, il assure la cohérence entre différents points de vue ; et dans la génération de matériaux PBR, en utilisant un cadre d'estimation, il améliore l'exactitude de l'estimation des matériaux.
Les capacités de génération de Seed3D 1.0 montrent un avantage significatif lors de plusieurs évaluations comparatives. En ce qui concerne la génération de géométrie, Seed3D 1.0 avec 1,5 milliard de paramètres dépasse les modèles de 3 milliards de paramètres du secteur, permettant une restitution plus précise des caractéristiques complexes des objets. En ce qui concerne la génération de textures et de matériaux, Seed3D 1.0 se distingue par sa capacité à conserver l'image de référence, notamment dans la génération de textes fins et de personnages. Les résultats d'évaluation humaine montrent que Seed3D 1.0 obtient de bons scores sur plusieurs dimensions telles que la qualité géométrique, les textures et matériaux, la clarté visuelle et la richesse des détails.
Seed3D 1.0 n'est pas seulement capable de générer des modèles 3D d'objets individuels, mais peut également construire des scènes 3D complètes via une stratégie de génération étape par étape. Les modèles 3D générés peuvent être importés sans heurt dans des moteurs de simulation comme Isaac Sim, nécessitant uniquement un petit travail d'adaptation pour soutenir l'entraînement des grands modèles d'intelligence incarnée. Cette capacité offre aux robots des scénarios d'opération variés, permettant l'apprentissage interactif, et établit une base d'évaluation complète pour les modèles de vision-langage-action.
Même si Seed3D 1.0 montre des performances prometteuses dans la génération de modèles et de scènes 3D, l'équipe Seed reconnaît également qu'il reste des défis tels que l'amélioration de la précision de génération et de la généralisation pour construire un modèle du monde à partir de ce modèle d'IA 3D. À l'avenir, l'équipe envisagera d'intégrer des modèles linguistiques à grande échelle multimodaux (MLLM) pour améliorer la qualité et la robustesse de la génération 3D, et poursuivra l'application à grande échelle de ces modèles de génération 3D dans les simulateurs mondiaux.
Page du projet :
https://seed.bytedance.com/seed3d
Entrée d'expérience :
https://console.volcengine.com/ark/region:ark+cn-beijing/experience/vision?modelId=doubao-seed3d-1-0-250928&tab=Gen3D
