Kürzlich kündigte NVIDIA die Open-Source-Veröffentlichung seines generativen KI-Gesichtsanimationsmodells Audio2Face an. Dieses Modell enthält nicht nur den Kernalgorithmus, sondern auch ein Softwareentwicklungspaket (SDK) und einen vollständigen Trainingsrahmen, um die Entwicklung intelligenter virtueller Charaktere in Spielen und 3D-Anwendungen zu beschleunigen.
Audio2Face analysiert akustische Merkmale wie Lautzeichen und Betonung in Audiodateien und kann so in Echtzeit die Gesichtsbewegungen virtueller Charaktere steuern, um präzise Lippenbewegungen und natürliche Emotionen zu erzeugen. Diese Technologie wird in verschiedenen Bereichen wie Spielentwicklung, Filmproduktion und Kundendienst weit verbreitet eingesetzt.
Das Audio2Face-Modell unterstützt zwei Ausführungsmodi: eines für die Offline-Rendering von vorab aufgenommenen Audios und eines für die Echtzeit-Streaming-Verarbeitung dynamischer KI-Charaktere. Um Entwicklern die Nutzung zu erleichtern, hat NVIDIA auch mehrere Schlüsselkomponenten geöffnet, darunter das Audio2Face SDK, ein lokales Add-on für Autodesk Maya und ein Add-on für Unreal Engine 5.5 und höher. Darüber hinaus wurden auch die Regressionsmodelle und Diffusionsmodelle geöffnet, sodass Entwickler mit dem offenen Trainingsrahmen eigene Daten verwenden können, um das Modell an spezifische Anwendungsfälle anzupassen.
Momentan wird diese Technologie bereits von zahlreichen Spielentwicklern weit verbreitet genutzt. Das Spielentwicklungsunternehmen Survios integrierte Audio2Face in sein Spiel „Alien: Dead Space Evolution“, wodurch der Prozess der Lippenbewegungssynchronisation und der Gesichtserfassung stark vereinfacht wurde. Das Studio Farm51 setzte diese Technologie ebenfalls in seinem Werk „Chernobyl: Zone of Exclusion 2“ ein und generierte durch Audio detaillierte Gesichtsanimationen, was viel Produktionsszeit sparte und die Realitätsnähe und Immersion der Charaktere verbesserte. Der Innovationsdirektor des Studios, Wojciech Pazdur, bezeichnete diese Technologie als „revolutionäre Fortschritte“.
Die neue Initiative von NVIDIA bietet Entwicklern zweifellos mehr kreative Werkzeuge und wird die Weiterentwicklung der Darstellung virtueller Charaktere vorantreiben. Mit der stetigen technologischen Entwicklung können wir uns auf realistischere und lebendigere Charakterdarstellungen in zukünftigen Spielen und Filmen freuen.
Eingang: https://build.nvidia.com/nvidia/audio2face-3d
Zusammenfassung:
🔊 NVIDIA öffnet die Quellen des Audio2Face-Modells, um die Technik der Gesichtsanimation von virtuellen Charakteren zu verbessern.
🎮 Unterstützt Offline-Rendering und Echtzeit-Streaming-Verarbeitung und ist für verschiedene Szenarien geeignet.
🌟 Wird von mehreren Spielentwicklern genutzt, vereinfacht den Produktionsprozess und erhöht die Realitätsnähe der Charaktere.
