Des chercheurs de l'Université de Science et Technologie de Hong Kong et de l'Université des Sciences et Technologies de Chine ont récemment publié GameGen-X, un modèle de transformateur de diffusion conçu pour générer et contrôler interactivement des vidéos de jeux vidéo en monde ouvert.
GameGen-X peut générer de manière autonome des vidéos de jeux en monde ouvert. Il simule diverses fonctionnalités de moteurs de jeu, notamment la génération de personnages innovants, d'environnements dynamiques, d'actions complexes et d'événements variés. Il interagit également avec vous, vous permettant de vivre l'expérience de la conception de jeux vidéo.
L'un des points forts de GameGen-X réside dans sa contrôlabilité interactive. Il peut prédire et modifier le contenu futur en fonction des extraits de jeu actuels, permettant ainsi la simulation du gameplay.
Les utilisateurs peuvent influencer le contenu généré via des signaux de contrôle multimodaux, tels que des instructions textuelles structurées et des commandes au clavier, afin de contrôler l'interaction des personnages et le contenu des scènes.
Pour entraîner GameGen-X, les chercheurs ont également créé OGameData, le premier grand ensemble de données de vidéos de jeux en monde ouvert. Cet ensemble de données contient plus d'un million d'extraits vidéo de jeux provenant de plus de 150 jeux différents, et GPT-4 a été utilisé pour générer des descriptions textuelles informatives.
L'entraînement de GameGen-X se déroule en deux phases : le pré-entraînement du modèle de base et l'ajustement fin par instructions. Dans la première phase, le modèle est pré-entraîné via des tâches de génération de texte à vidéo et de continuation vidéo, lui permettant de générer des vidéos de jeux en monde ouvert de haute qualité et de longues séquences.
Dans la deuxième phase, pour atteindre la contrôlabilité interactive, les chercheurs ont conçu le module InstructNet, qui intègre des experts de signaux de contrôle multimodaux liés au jeu.
InstructNet permet au modèle d'ajuster les représentations latentes en fonction des entrées de l'utilisateur, unifiant ainsi pour la première fois le contrôle de l'interaction des personnages et du contenu des scènes dans la génération vidéo. Lors de l'ajustement fin par instructions, seul InstructNet est mis à jour, tandis que le modèle de base pré-entraîné est gelé. Cela permet au modèle d'intégrer la contrôlabilité interactive sans perte de la diversité et de la qualité du contenu vidéo généré.
Les résultats expérimentaux montrent que GameGen-X excelle dans la génération de contenu de jeu de haute qualité et offre un excellent contrôle de l'environnement et des personnages, surpassant d'autres modèles open source et commerciaux.
Bien sûr, cette IA n'en est qu'à ses débuts et il reste encore un long chemin à parcourir avant de pouvoir réellement remplacer les concepteurs de jeux. Cependant, son apparition ouvre sans aucun doute de nouvelles possibilités pour le développement de jeux. Elle offre une nouvelle méthode pour la conception et le développement de contenu de jeu, démontrant le potentiel des modèles génératifs en tant qu'outils auxiliaires aux techniques de rendu traditionnelles, fusionnant efficacement la génération créative et les fonctionnalités interactives, et ouvrant de nouvelles perspectives pour le développement futur des jeux.
Adresse du projet : https://gamegen-x.github.io/
