Kürzlich hat ein Forschungsteam der Alibaba-Gruppe eine bemerkenswerte neue Technologie veröffentlicht – TaoAvatar. Dieses innovative Projekt konzentriert sich auf die Erstellung von fotorealistischen, sprechenden 3D-Ganzkörper-Avataren, um Augmented-Reality-(AR)-Anwendungen zu revolutionieren und die Interaktion in der digitalen Welt lebendiger und natürlicher zu gestalten. TaoAvatar läutet eine neue Ära der AR-Erfahrung ein, mit hörbaren, sprechenden, ausdrucksstarken und bewegungsfähigen „virtuellen Avataren“.
Dimensionen überwinden: Lebensechtes „Ich“ in AR-Szenarien
Die Kernfunktion von TaoAvatar liegt in der Erstellung von hochrealistischen 3D-Ganzkörper-Avataren. Noch wichtiger ist, dass diese virtuellen Avatare keine statischen Modelle sind, sondern in Echtzeit in 3D-AR-Szenarien kommunizieren können.
Stellen Sie sich vor: In zukünftigen E-Commerce-Livestreams sehen Sie nicht mehr nur flache Bilder des Moderators, sondern eine dreidimensionale, lebensgroße virtuelle Figur, die Ihnen in Ihrem Zimmer begeisternd Produkte präsentiert. In der holografischen Kommunikation erscheint ein entfernter Freund als lebendiges 3D-Abbild vor Ihnen, als wäre er ganz nah.
Ausdrucksstark und natürlich: Virtuelle Menschen mit „Seele“
Um das AR-Erlebnis realistischer zu gestalten, wurde bei TaoAvatar viel Arbeit in die Steuerung von Gesichtsausdrücken und Körperbewegungen investiert.
Durch die Integration des Audio2BS-Modells werden die Gesichtsausdrücke und Gesten des virtuellen Avatar dynamisch aus dem Sprachinhalt generiert, wodurch eine natürliche Synchronisation von Mundbewegung, Mimik und Gestik erreicht wird. Das bedeutet, dass der virtuelle Avatar beim Sprechen nicht nur den Mund bewegt, sondern auch natürliche Augenkontakte und Körpersprache zeigt, was ihn emotionaler und lebendiger wirken lässt.
Echtzeit-Rendering, flüssiges Erlebnis: 90 FPS im AR-Universum
Für AR-Anwendungen ist ein flüssiges Erlebnis entscheidend. TaoAvatar verwendet die 3D-Gauss-Sputtering (3DGS)-Technologie, um ein hochwertiges Echtzeit-Rendering zu ermöglichen.
Selbst auf hochauflösenden 3D-Displays wie der Apple Vision Pro läuft TaoAvatar mit 90 Bildern pro Sekunde flüssig. Dies gewährleistet, dass die Bewegungen und Interaktionen des virtuellen Avatars für den Benutzer während der Nutzung von AR-Anwendungen reibungslos und natürlich ohne Verzögerungen ablaufen und so ein besseres Immersionserlebnis bieten.
Leicht, effizient, plattformübergreifend kompatibel: Zukünftige AR-Erlebnisse zum Greifen nah
Neben dem hochwertigen Rendering zeichnet sich TaoAvatar durch einen geringen Speicherbedarf und eine gute plattformübergreifende Kompatibilität aus. Dies ermöglicht den Einsatz auf verschiedenen mobilen und AR-Geräten, wie der Apple Vision Pro.
Um hohe Leistung bei geringem Ressourcenverbrauch zu erreichen, hat das TaoAvatar-Team zunächst ein personalisiertes SMPLX-Mesh für Kleidungserweiterungen erstellt und die Gauss-Texturen darauf ausgerichtet. Anschließend lernten sie komplexe, positionsabhängige nicht-starre Deformationen mithilfe eines Teacher-Netzwerks und „backten“ diese mithilfe der Wissensdestillationstechnik in ein leichtgewichtiges MLP-Netzwerk ein.
Darüber hinaus entwickelten sie lernfähige Gauss-Mischungen von Formen, um die Details des Aussehens zu verbessern. Die Kombination dieser Technologien ermöglicht es TaoAvatar, die Renderqualität zu gewährleisten und gleichzeitig auf ressourcenbeschränkten Mobilgeräten zu laufen, was die Grundlage für zukünftige Verbreitung schafft.
Ausblick: TaoAvatar eröffnet eine neue Ära der immersiven AR-Interaktion
Die Veröffentlichung von TaoAvatar zeigt nicht nur die neuesten Fortschritte von Alibaba im Bereich der 3D-Virtual-Human-Technologie, sondern deutet auch darauf hin, dass AR-Anwendungen eine immersivere und natürlichere Interaktionsweise erleben werden. Ob Fernzusammenarbeit, Online-Bildung, virtuelle soziale Interaktion oder digitale Unterhaltung – TaoAvatar dürfte eine wichtige Rolle spielen und den Nutzern in der AR-Welt einen kommunikativen und emotionalen „digitalen Zwilling“ ermöglichen.
Projekt-Link: https://top.aibase.com/tool/taoavatar