GPT4Motion propose un nouveau cadre pour la génération de vidéos à partir de texte, en combinant le puissant modèle linguistique GPT-4 avec le moteur physique Blender. Grâce à des scripts Blender et au moteur physique, il génère efficacement des vidéos d'objets en mouvement, cohérentes et réalistes.
Les expériences ont démontré des résultats significatifs en termes de cohérence des mouvements et de précision physique. Le système prend en charge une variété de matériaux, incluant les objets rigides, les tissus et les liquides, marquant ainsi une avancée notable dans la technologie de génération de vidéos à partir de texte.
