Le laboratoire de l'intelligence artificielle de Shanghai a récemment lancé IWR-Bench en collaboration avec des institutions comme l'Université Zhejiang. C'est le premier référentiel spécifique pour évaluer la capacité des grands modèles linguistiques à transformer les vidéos en codes de pages web interactives. Ce référentiel vise à mesurer plus réellement les capacités des grands modèles multimodaux (LVLM) dans la reconstruction de pages web dynamiques, comblant ainsi un vide dans l'évaluation des interactions dynamiques au sein du domaine du développement front-end en intelligence artificielle.
Contrairement à la tâche traditionnelle de conversion d'images en code (Image-to-Code), IWR-Bench exige que le modèle observe une vidéo montrant le processus complet d'interaction utilisateur, et qu'il reconstruise les comportements dynamiques de la page web en combinant toutes les ressources statiques nécessaires. La complexité de la tâche va de la simple navigation sur une page web à la reconstruction de règles complexes de jeux, incluant divers scénarios d'application tels que le jeu 2048 ou la réservation de billets d'avion.
Les résultats des tests ont mis en évidence les limites significatives des modèles d'intelligence artificielle dans cette tâche. Dans l'évaluation de 28 modèles majeurs, le meilleur score global obtenu par GPT-5 n'était que de 36,35 points, avec un score de précision des fonctions d'interaction (IFS) de 24,39 % et un score de fidélité visuelle (VFS) de 64,25 %. Ces données montrent clairement que les modèles sont relativement performants en termes de restauration visuelle, mais présentent un déficit évident dans la réalisation de logiques événementielles et d'interactions dynamiques.
En ce qui concerne la méthode d'évaluation, IWR-Bench ne se concentre pas seulement sur la capacité de restitution visuelle du modèle, mais évalue également la correction des fonctionnalités d'interaction via un agent automatisé. Chaque tâche fournit l'ensemble des ressources statiques, et tous les noms de fichiers ont été anonymisés, forçant le modèle à s'appuyer sur le matching visuel plutôt que sur le raisonnement sémantique pour associer les ressources. Cette conception est plus proche des scénarios réels de développement, exigeant que le modèle comprenne les relations de causalité et les changements d'état présents dans la vidéo d'opérations, puis les traduise en logique de code exécutable.
Les chercheurs ont également observé certains phénomènes intéressants. Les versions de modèles dotées d'une "mécanique de pensée" ont montré de meilleures performances dans certaines tâches, mais l'amélioration reste limitée, ce qui indique que les capacités de base du modèle restent déterminantes. De plus, les modèles spécialement optimisés pour la compréhension des vidéos ne se sont pas comportés mieux que les modèles multimodaux généraux, ce qui montre que la tâche de conversion vidéo en page web diffère fondamentalement des tâches traditionnelles de compréhension vidéo : il ne s'agit pas seulement de comprendre le contenu de la vidéo, mais aussi de l'abstraire en logique de programme.
En termes de défis techniques, la tâche de conversion vidéo en page web repose sur plusieurs niveaux de difficulté. Tout d'abord, la compréhension temporelle, où le modèle doit extraire les événements d'interaction clés et les transitions d'état à partir des cadres vidéo continus. Ensuite, l'abstraction logique, qui consiste à transformer les modèles d'observation en concepts de programmation tels que les écouteurs d'événements et la gestion d'états. Troisièmement, le match des ressources, qui implique de trouver précisément les fichiers correspondants tels que les images et les styles dans les ressources statiques anonymisées. Enfin, la génération de code, qui nécessite la production de codes HTML, CSS et JavaScript structurés et logiquement corrects.
GPT-5 n'a obtenu qu'un score global de 36,35, ce qui indique que même les modèles multimodaux les plus avancés ont encore beaucoup de place à progresser dans cette tâche de transformation des comportements dynamiques en code exécutable. Un taux de précision des fonctions d'interaction de 24,39 % signifie que plus de trois quarts des fonctions d'interaction générées par le modèle présentent des problèmes. Cela peut inclure des réponses aux événements incorrectes, des erreurs de gestion d'état ou des omissions de logique métier.
Lancement d'IWR-Bench a une importance significative pour la recherche et l'application de l'intelligence artificielle. Du point de vue de la recherche, il offre une nouvelle dimension d'évaluation pour les capacités de compréhension dynamique et de génération de code des modèles multimodaux, aidant à identifier les lacunes technologiques actuelles. Du point de vue des applications, si la capacité de conversion vidéo en page web devient mature, elle pourrait réduire considérablement le seuil de développement front-end, permettant aux non-spécialistes de générer des prototypes fonctionnels simplement en démontrant leurs opérations.
Cependant, il convient de noter que même si un modèle obtient de bons résultats sur ce référentiel, il reste encore loin de l'application pratique. Le développement réel de pages web implique de nombreux aspects tels que l'optimisation des performances, le traitement de la compatibilité, la protection de la sécurité et la maintenabilité, qui sont difficiles à transmettre uniquement par des démonstrations vidéo. De plus, les logiques métier complexes, le traitement des cas limites et les détails de l'expérience utilisateur sont également difficiles à inférer uniquement à partir d'une vidéo d'opérations.
En termes de tendances sectorielles, IWR-Bench représente l'évolution de la génération de code par l'intelligence artificielle vers le dynamique, du simple cadre vers plusieurs cadres, et de la description vers la démonstration. Cela contraste avec le mode actuel des outils d'aide à la codification par IA, qui s'appuie principalement sur des descriptions textuelles, offrant ainsi une base technique pour des outils de développement intelligents basés sur le principe « ce que vous voyez, c'est ce que vous obtenez ». Si les modèles parviennent à des progrès dans cette tâche à l'avenir, cela pourrait entraîner la création de nouveaux outils de prototypage, permettant aux product managers ou aux concepteurs de générer des prototypes interactifs de pages web simplement en enregistrant des vidéos d'opérations.
En examinant les résultats des tests, on constate que les modèles d'intelligence artificielle sont encore à un stade initial dans leur compréhension des interactions dynamiques complexes. Une fidélité visuelle de 64,25 % est relativement élevée, ce qui indique que les modèles sont déjà capables de restaurer relativement bien l'apparence statique de la page. Cependant, un taux de précision des fonctions d'interaction de 24,39 % montre que la transformation des comportements observés en logique de programme correcte reste un défi majeur. Cette écart reflète le fossé entre « comprendre » et « faire correctement » : reconnaître les éléments visuels ne signifie pas nécessairement comprendre la logique d'interaction derrière.
La valeur d'IWR-Bench ne réside pas seulement dans l'offre d'un outil d'évaluation, mais aussi dans la clarification d'une direction importante pour le développement des capacités multimodales de l'intelligence artificielle. Avec la diffusion de ce référentiel, on peut s'attendre à voir davantage de recherches se concentrer sur l'analyse des comportements dynamiques, la raisonnement temporel et la génération de code, poussant ainsi l'application pratique des grands modèles multimodaux dans des scénarios de développement réels.
