Kürzlich hat ein Forschungsteam der Shanghai Jiao Tong University einen neuen Datensatz namens Gen3DHF vorgestellt, der darauf abzielt, die Qualität künstlich generierter 3D-Gesichter zu bewerten. Mit der schnellen Entwicklung von KI-generierten Inhalten ist die Erzeugung von 3D-Gesichtern möglich geworden und hat besonders in Bereichen wie Virtual Reality eine breite Anwendung gefunden. Dennoch bleibt die Bewertung der Qualität und Realitätsnähe dieser generierten 3D-Gesichter ein großes Problem, da das menschliche Wahrnehmungsvermögen für Gesichtsmerkmale oft subjektiv und empfindlich ist.
Der Gen3DHF-Datensatz ist ein umfangreicher Referenzdatensatz mit 2000 KI-generierten 3D-Gesichtsvideos sowie 4000 Durchschnittswertungen (MOS) aus zwei Dimensionen: Qualität und Realität. Zudem enthält er 2000 Verzerrungswahrnehmungssignaturkarten und -beschreibungen. Dieser Datensatz bietet Forschern ein wertvolles Werkzeug, um die Qualität künstlich generierter Inhalte objektiv zu bewerten.
Darauf aufbauend hat das Forschungsteam auch LMME3DHF entwickelt, ein Bewertungsmaßstab für 3D-Gesichter basierend auf einem großen multimodalen Modell. Es kann effektiv Qualität und Realitätswahrnehmung vorhersagen und Verzerrungswahrnehmung visuelle Frage- und Antwort-Aufgaben (VQA) sowie Signifikanzvorhersagen durchführen. Experimentelle Ergebnisse zeigen, dass LMME3DHF eine führende Leistung in Bezug auf Genauigkeit erreicht und nicht nur bestehende Methoden übertrifft, sondern auch stark mit menschlichen Wahrnehmungsentscheidungen übereinstimmt.
Das Team betonte, dass obwohl künstlich generierte 3D-Gesichter in ihrer Generierungsfähigkeit signifikante Fortschritte gemacht haben, immer noch Probleme wie Wahrnehmungsverzerrungen und nicht realistische Artefakte bestehen, die die menschlichen Qualitätsansprüche nicht erfüllen. Obwohl menschliche Bewertungen wichtige Einblicke liefern, sind sie kostspielig und ineffizient. Daher ist die Entwicklung eines objektiven Qualitätsmaßstabs entscheidend.
Die Einführung des Gen3DHF-Datensatzes schließt Lücken in der Bewertung künstlich generierter 3D-Gesichter, insbesondere hinsichtlich der Einzigartigkeit von Gesichtsverzerrungen. Durch die Bewertung vielfältiger 3D-Gesichtervideos haben die Forscher erhebliche Fortschritte bei Qualität und Realität erzielt. Dies hilft nicht nur, die Vertrauenswürdigkeit der Generierungstechnik zu verbessern, sondern wird auch die Entwicklung von Virtual Reality und verwandten Bereichen vorantreiben.
Paper: https://arxiv.org/pdf/2504.20466
Hauptpunkte:
🌟 Der Gen3DHF-Datensatz enthält 2000 KI-generierte 3D-Gesichtervideos und bietet die Grundlage für die Bewertung der Qualität.
🤖 Das Bewertungsmaß LMME3DHF zeigt ausgezeichnete Leistungen in der Verzerrungswahrnehmung und Realitätsvorhersage und übertrifft bestehende Methoden.
🔍 Das Ziel der Forschung besteht darin, Lücken im Bewertungsprozess künstlich generierter 3D-Gesichter zu schließen und die Zuverlässigkeit der Technologie zu erhöhen.