O Laboratório de Inteligência Artificial de Xangai, em colaboração com instituições como a Universidade de Zhejiang, lançou recentemente o IWR-Bench, que é o primeiro benchmark dedicado à avaliação da capacidade dos grandes modelos de linguagem em transformar vídeos em código de páginas interativas. Esse benchmark visa medir de forma mais realista as habilidades dos grandes modelos multimodais (LVLM) na reconstrução de páginas da web dinâmicas, preenchendo assim uma lacuna no campo de avaliação de interatividade dinâmica no desenvolvimento de front-end da IA.
Diferente das tarefas tradicionais de conversão de imagem para código (Image-to-Code), o IWR-Bench exige que o modelo visualize vídeos que registram o processo completo das ações do usuário, combinando todos os recursos estáticos necessários para a página da web, para reconstruir comportamentos interativos dinâmicos. A complexidade da tarefa abrange desde navegação simples até a reconstrução de regras complexas de jogos, incluindo cenários como o jogo 2048 e reservas de passagens aéreas.
Os resultados dos testes revelaram limitações significativas nos modelos de IA nessa tarefa. Na avaliação de 28 modelos principais, o melhor desempenho foi obtido pelo GPT-5, com uma pontuação geral de 36,35 pontos, sendo que a pontuação de corretude da funcionalidade interativa (IFS) foi de 24,39% e a pontuação de fidelidade visual (VFS) foi de 64,25%. Esses dados demonstram claramente que os modelos têm uma capacidade relativamente forte na restauração visual, mas apresentam uma deficiência evidente na implementação de lógica de eventos e funções interativas dinâmicas.
A partir do método de avaliação, o IWR-Bench não apenas se concentra na capacidade de restauração visual do modelo, mas também avalia automaticamente a corretude de suas funções interativas por meio de agentes automatizados. Cada tarefa fornece todos os recursos estáticos completos, e todos os nomes de arquivos foram anonimizados, forçando o modelo a associar os recursos com base apenas em correspondências visuais, em vez de raciocínio semântico. Essa abordagem é mais próxima da cena real de desenvolvimento, exigindo que o modelo compreenda relações causais e mudanças de estado nas ações do vídeo e depois as converta em lógica de código executável.
Os pesquisadores também descobriram algumas observações interessantes. Versões de modelos com "mecanismo de pensamento" tiveram um desempenho melhor em algumas tarefas, mas o aumento foi limitado, indicando que as capacidades básicas do modelo ainda são o fator determinante. Além disso, os modelos especializados na otimização para compreensão de vídeo não tiveram um desempenho tão bom quanto os modelos multimodais gerais, o que indica que a tarefa de conversão de vídeo para página da web difere essencialmente das tarefas tradicionais de compreensão de vídeo — a primeira não exige apenas compreender o conteúdo do vídeo, mas também converter comportamentos dinâmicos em lógica de programação.
A partir do ponto de vista técnico, os desafios da tarefa de conversão de vídeo para página da web estão em vários níveis. Primeiro, a compreensão temporal, pois o modelo precisa extrair eventos interativos e transições de estado críticos das sequências contínuas de quadros do vídeo. Em segundo lugar, a abstração lógica, que requer converter padrões de comportamento observados em conceitos de programação como ouvintes de eventos e gerenciamento de estado. Terceiro, a correspondência de recursos, que exige encontrar com precisão arquivos como imagens e estilos entre os recursos estáticos anonimizados. Quarto, a geração de código, que exige produzir códigos HTML, CSS e JavaScript estruturados e logicamente corretos.
O GPT-5 obteve apenas 36,35 pontos na pontuação geral, o que indica que mesmo os modelos multimodais mais avançados ainda têm muito espaço para melhoria na tarefa de transformar comportamentos dinâmicos em código executável. Uma taxa de acerto de 24,39% nas funcionalidades interativas significa que mais de três quartos das funcionalidades interativas geradas pelos modelos possuem problemas. Isso pode incluir respostas incorretas a eventos, erros no gerenciamento de estado e falta de lógica de negócios.
O lançamento do IWR-Bench tem grande importância para a pesquisa e aplicação da IA. Do ponto de vista da pesquisa, ele oferece uma nova dimensão para avaliar as habilidades de compreensão dinâmica e geração de código dos modelos multimodais, ajudando a identificar os pontos fracos atuais da tecnologia. Do ponto de vista da aplicação, se a capacidade de conversão de vídeo para página da web se tornar madura, pode reduzir significativamente a barreira do desenvolvimento de front-end, permitindo que não técnicos gerem protótipos funcionais apenas através de operações demonstradas.
No entanto, é importante notar que, mesmo que os modelos obtenham altas notas nesse benchmark, ainda há uma longa distância até a aplicação prática. O desenvolvimento real de páginas da web envolve múltiplos aspectos, como otimização de desempenho, tratamento de compatibilidade, proteção contra segurança e manutenibilidade, os quais dificilmente podem ser totalmente transmitidos por demonstrações de vídeo. Além disso, lógicas de negócios complexas, tratamento de casos extremos e detalhes de experiência do usuário também são difíceis de inferir completamente apenas a partir de vídeos de operações.
Do ponto de vista das tendências da indústria, o IWR-Bench representa uma direção evolutiva da geração de código da IA, indo do estático para o dinâmico, da única imagem para múltiplas imagens, e da descrição para a demonstração. Isso contrasta com o modelo atual de assistentes de codificação da IA que dependem principalmente de descrições textuais, fornecendo uma base técnica para ferramentas de desenvolvimento inteligente "o que você vê é o que você obtém". Se os modelos futuros obtiverem avanços nessa tarefa, poderia surgir uma nova geração de ferramentas de prototipagem, permitindo que produtores ou designers gerem protótipos interativos de páginas da web apenas registrando vídeos de operações.
A partir dos resultados dos testes, os modelos de IA atuais ainda estão em uma fase inicial na compreensão de interações dinâmicas complexas. A fidelidade visual de 64,25% é relativamente alta, o que indica que os modelos já conseguem restaurar com boa qualidade a aparência estática da página. Mas a taxa de acerto da funcionalidade interativa é apenas de 24,39%, indicando que transformar comportamentos observados em lógica de programa correta ainda é um grande desafio. Essa lacuna reflete a divisão entre "entender" e "fazer certo" na IA — ser capaz de identificar elementos visuais não significa necessariamente compreender a lógica de interação subjacente.
A importância do IWR-Bench não se limita a fornecer uma ferramenta de avaliação, mas também em definir uma direção importante para o desenvolvimento das capacidades multimodais da IA. Com a divulgação desse benchmark, espera-se que mais pesquisas se concentrem na combinação entre compreensão de comportamentos dinâmicos, raciocínio temporal e geração de código, impulsionando o valor de aplicação dos grandes modelos multimodais em cenários práticos de desenvolvimento.
