Die Website „站长之家“ berichtete über einen neuen Benchmark namens MathVerse, der die Leistung multimodaler großer Sprachmodelle (MLLMs) bei der Lösung visueller mathematischer Probleme bewertet. Die Studie ergab, dass die meisten Modelle stark von visuellen Eingaben abhängig sind, während GPT-4V sowohl bei Text- als auch bei visuellen Eingaben hervorragende Leistungen zeigte.
Die Einführung dieses Benchmarks bietet neue Perspektiven für die zukünftige Entwicklung von MLLMs.