Une équipe de recherche de l'Université des Sciences et Technologies de Hong Kong et de l'Université Tsinghua a lancé DimensionX, un nouveau framework d'IA révolutionnaire. À partir d'une seule image, il génère des scènes 3D et 4D incroyablement détaillées, ouvrant des perspectives révolutionnaires pour le développement de jeux vidéo, la réalité virtuelle et la production cinématographique !
La magie de DimensionX réside dans sa technologie de diffusion vidéo contrôlable. Tel un magicien de l'espace chevronné, il extrait les informations spatiales et temporelles d'une seule image et les transforme en une séquence vidéo continue.
Ces images vidéo, comme des pellicules de cinéma, enregistrent les différents angles et les changements dynamiques de la scène, pour finalement composer une scène 3D ou 4D complète.
Pour maîtriser précisément cette « magie spatiale », DimensionX est équipé de deux puissants « bâtons magiques » : S-Director et T-Director. S-Director gère la dimension spatiale, permettant de contrôler le mouvement de la caméra, comme si vous vous déplaciez librement dans la scène avec un appareil photo.
T-Director, quant à lui, gère la dimension temporelle, contrôlant le mouvement des objets et donnant vie à la scène.
Plus impressionnant encore, DimensionX permet d'utiliser ces deux « bâtons magiques » ensemble pour générer des scènes plus complexes et réalistes !
Par exemple, vous pouvez faire pivoter la caméra autour d'un objet en mouvement, comme si vous étiez immergé dans un véritable monde 4D !
Bien sûr, la « magie » de DimensionX ne s'arrête pas là. Il est optimisé pour les scènes réelles, avec un mécanisme de détection de trajectoire qui gère les mouvements de caméra complexes, rendant les scènes 3D plus réalistes et crédibles.
De plus, DimensionX intègre une stratégie de débruitage préservant l'identité, garantissant la cohérence de l'apparence des objets dans les scènes 4D et évitant les effets indésirables.
L'arrivée de DimensionX marque une avancée révolutionnaire dans le domaine de la génération de scènes 3D et 4D. Simple d'utilisation, aux résultats époustouflants et à l'application polyvalente (développement de jeux, réalité virtuelle, production cinématographique…), DimensionX nous promet un futur riche en « magie spatiale » !
Adresse du projet : https://chenshuo20.github.io/DimensionX/
Adresse de l'article : https://arxiv.org/pdf/2411.04928
