Das Shanghai Artificial Intelligence Laboratory hat kürzlich in Zusammenarbeit mit Institutionen wie der Zhejiang-Universität den IWR-Bench vorgestellt. Dies ist der erste Benchmark, der speziell die Fähigkeit von großen Sprachmodellen bewertet, Videos in interaktiven Webseiten-Code umzuwandeln. Der Benchmark zielt darauf ab, die Fähigkeiten von multimodalen großen Sprachmodellen (LVLM) bei der Rekonstruktion dynamischer Webseiten realistischer zu messen und die Lücke im Bereich der dynamischen Interaktivitätsbewertung im AI-Entwicklungs-Segment zu schließen.
Im Gegensatz zu traditionellen Aufgaben wie dem Image-to-Code-Task verlangt IWR-Bench von Modellen, Videos anzuschauen, die den gesamten Benutzerbetrieb dokumentieren, und diese mit allen statischen Ressourcen einer Webseite zu kombinieren, um die dynamischen Interaktivitäten der Webseite neu zu erstellen. Die Komplexität der Aufgaben reicht von einfachen Webseitenbesuchen bis hin zur Wiederherstellung komplexer Spielregeln, einschließlich verschiedener Anwendungsfälle wie 2048-Spiel oder Flugticket-Buchung.
Die Testergebnisse zeigen deutlich die erheblichen Einschränkungen aktueller KI-Modelle in dieser Aufgabe. Bei der Bewertung von 28 führenden Modellen erreichte das beste Modell, GPT-5, eine Gesamtnote von nur 36,35 Punkten, wobei die Bewertung für die korrekte Funktionalität der Interaktion (IFS) bei 24,39 % lag und die Bewertung für die visuelle Genauigkeit (VFS) bei 64,25 %. Diese Daten zeigen klar, dass die Modelle in Bezug auf die visuelle Wiedergabe relativ stark sind, aber bei der Implementierung von ereignisgesteuerten Logiken und dynamischen Interaktivitäten noch erhebliche Schwächen aufweisen.
Aus Sicht der Bewertungsmethodik betont IWR-Bench nicht nur die visuelle Wiedergabefähigkeit der Modelle, sondern bewertet auch die Korrektheit der Interaktionsfunktionen durch automatisierte Agenten. Jede Aufgabe bietet vollständige statische Ressourcen, und alle Dateinamen wurden anonymisiert, was die Modelle zwingt, sich auf visuelle Übereinstimmungen zu verlassen, anstatt semantische Schlussfolgerungen zu ziehen. Diese Gestaltung entspricht näher dem echten Entwicklungs-Szenario und verlangt, dass die Modelle die Ursachen und Zustandsänderungen in den Betrachtungsvideos verstehen und sie dann in ausführbaren Code-Logik umwandeln.
Die Forscher haben auch einige interessante Phänomene beobachtet. Modelle mit einer „Denk“-Funktion zeigten in bestimmten Aufgaben bessere Ergebnisse, doch die Verbesserung war begrenzt, was darauf hindeutet, dass die Grundfähigkeiten des Modells weiterhin entscheidend sind. Darüber hinaus zeigten Modelle, die speziell auf Videoverstehen optimiert waren, in dieser Aufgabe keine besseren Ergebnisse als allgemeine multimodale Modelle, was darauf hindeutet, dass es zwischen der Aufgabe der Video-zu-Webseiten-Umwandlung und der traditionellen Videoverstehenaufgabe grundlegende Unterschiede gibt – letztere erfordert nicht nur das Verstehen des Videoinhalts, sondern auch die Abstraktion dynamischer Aktionen in Programmlogik.
Aus technischer Sicht liegt die Herausforderung der Video-zu-Webseiten-Aufgabe auf mehreren Ebenen. Erstens ist die zeitliche Verarbeitung wichtig: Das Modell muss wichtige Interaktionsereignisse und Zustandswechsel aus kontinuierlichen Video-Frames extrahieren. Zweitens ist die logische Abstraktion erforderlich, um beobachtete Muster in programmatische Konzepte wie Ereignisbeobachtung und Zustandsmanagement zu übersetzen. Drittens ist die Ressourcen-Zuordnung erforderlich, um genau die entsprechenden Bilder, Styles usw. unter anonymisierten statischen Ressourcen zu finden. Viertens ist die Code-Erzeugung notwendig, um strukturierte, logisch korrekte HTML-, CSS- und JavaScript-Codes zu generieren.
GPT-5 erreichte nur eine Gesamtnote von 36,35 Punkten, was zeigt, dass selbst die fortschrittlichsten multimodalen Modelle noch großes Potenzial haben, um dynamische Aktionen in ausführbare Codes umzuwandeln. Ein Interaktionsfunktionskorrektheitsgrad von 24,39 % bedeutet, dass über drei Viertel der Interaktionsfunktionen in den von den Modellen generierten Webseiten Probleme aufweisen. Dies kann Ereignisreaktionen, Fehler in der Zustandsverwaltung oder fehlende Geschäftslogik beinhalten.
Die Einführung von IWR-Bench hat eine große Bedeutung für die Forschung und Anwendung im Bereich der KI. Aus der Forschungssicht bietet der Benchmark eine neue Bewertungsdimension für die dynamische Verstehens- und Code-Generierungsfähigkeiten multimodaler Modelle und hilft dabei, schwache Stellen der aktuellen Technologien zu identifizieren. Aus der Anwendungssicht könnte die Reife der Video-zu-Webseiten-Fähigkeit den Zugang zum Frontend-Entwicklungstechnik deutlich reduzieren, sodass nicht-technische Mitarbeiter durch Demonstrationen Operationen Funktionen Prototypen generieren können.
Allerdings sollte beachtet werden, dass selbst wenn ein Modell hohe Punkte auf diesem Benchmark erzielt, es immer noch einen weiten Weg bis zur praktischen Anwendung hat. Die echte Webentwicklung umfasst viele Dimensionen wie Leistungs-Optimierung, Kompatibilität, Sicherheit und Wartbarkeit, die schwer durch Video-Demonstrationen vollständig vermittelt werden können. Außerdem sind komplexe Geschäftslogik, Randfälle und Benutzererfahrungsdetails oft nur schwer aus einem Betrachtungsvideo vollständig abzuleiten.
Aus der Branchentrend-Sichtweise stellt IWR-Bench eine Entwicklung dar, die KI-Code-Generation von statisch zu dynamisch, von Einzelbildern zu mehreren Bildern und von Beschreibungen zu Demonstrationen verlagert. Dies steht im Kontrast zur aktuellen Mode der KI-Code-Assistenten, die hauptsächlich auf Textbeschreibungen basieren, und liefert eine technische Grundlage für intelligente Entwicklertools mit „Wahrscheinlichkeit-sieht-ohne-Änderung“. Wenn KI-Modelle in Zukunft Fortschritte in dieser Aufgabe machen, könnten neue Generationen von Prototyp-Entwicklungs-Tools entstehen, die es Produktmanagern oder Designern ermöglichen, interaktive Webseitenprototypen durch Aufzeichnen von Operationen zu generieren.
Aus der Perspektive der Testergebnisse befinden sich aktuelle KI-Modelle noch in einem frühen Stadium beim Verstehen komplexer dynamischer Interaktionen. Die visuelle Genauigkeit von 64,25 % ist relativ hoch, was darauf hindeutet, dass die Modelle die statische Oberfläche der Seite gut wiedergeben können. Aber die korrekte Funktionsfähigkeit der Interaktion liegt bei nur 24,39 %, was zeigt, dass es nach wie vor eine große Herausforderung ist, beobachtete Aktionen in korrekte Programmlogik umzuwandeln. Dieser Unterschied spiegelt den Abstand zwischen dem „Verstehen“ und dem „Machen“ wider – das Erkennen visueller Elemente bedeutet nicht automatisch das Verstehen der zugrunde liegenden Interaktionslogik.
Der Wert von IWR-Bench geht nicht nur darum, ein Bewertungsinstrument bereitzustellen, sondern auch darum, eine wichtige Richtung für die Entwicklung der multimedialen Fähigkeiten der KI zu definieren. Mit der Verbreitung dieses Benchmarks kann man erwarten, dass mehr Forschung auf die Kombination von dynamischem Verstehen, zeitlicher Inferenz und Code-Generierung fokussiert wird, um den Anwendungswert multimodaler großer Modelle in realen Entwicklungs-Szenarien zu fördern.
