Das Alibaba Group hat erneut in der Digital-Personen-Technologie Fortschritte erzielt, indem es eine auf dem MNN-Framework basierende 3D-Digital-Personen-Anwendung offiziell veröffentlicht hat – MNN TaoAvatar. Diese innovative Technologie bringt hochwertige 3D-Virtualisierung und interaktive Fähigkeiten auf mobile Geräte, was neue Möglichkeiten für Live-Streaming, virtuelle Social-Media-Plattformen und AR-Anwendungen eröffnet. Im Folgenden wird AIbase diese bemerkenswerte technische Innovation detailliert analysieren.
MNN TaoAvatar: Ein "Zauberstab" für 3D-Digitale Personen auf dem Smartphone
MNN TaoAvatar ist eine von Alibaba entwickelte 3D-Digitale-Personen-Technologie, die auf dem leichten, auf MNN basierenden Deep-Learning-Inferenzframework MNN beruht. Im Gegensatz zu traditionellen, zweidimensionalen Live2D-Technologien unterstützt MNN TaoAvatar echte 3D-Virtualisierung und die reale Generierung und Steuerung virtueller Charaktere mit bis zu 90 Frames pro Sekunde auf mobilen Geräten wie Smartphones, was eine flüssige Interaktion ermöglicht.
Diese Technologie kombiniert die 3D-Gauss-Spritzer-Technologie (3D Gaussian Splatting), um photorealistiche 3D-Virtualisierungen des gesamten Körpers aus mehrfachem Bildsequenzen zu generieren. Unabhängig davon, ob es sich um Gesichtsausdrücke, Handbewegungen oder Körpermassen handelt, erreicht MNN TaoAvatar eine millimetergenaue Kontrolle, um sicherzustellen, dass Lippenbekenntnis, Mimik und Bewegungen der virtuellen Figur natürlich synchronisiert sind und einen überzeugenden visuellen Eindruck vermitteln.
Herausragende Technologie: Leichtgewichtig und effizient, multimodal angetrieben
Die Erfolge von MNN TaoAvatar verdanken sich der starken Leistungsfähigkeit des MNN-Frameworks. Als Inferenzmotor, den Alibaba im Jahr 2019 veröffentlicht hat, ist MNN dank seiner Leichtigkeit, Hochleistungsfähigkeit und Plattformkompatibilität weithin beliebt. Auf dieser Basis wurde MNN TaoAvatar weiter optimiert und bietet folgende Kernvorteile:
Reale Gesichtserkennung: Durch tiefgehende Lernalgorithmen kann MNN TaoAvatar präzise Freude, Trauer, Wut und andere Gefühle erkennen und diese mit geringer Latenz auf virtuelle Charaktere synchronisieren. Dies eignet sich ideal für realzeitinteraktive Szenarien wie Live-Streaming oder virtuelle Konferenzen.
Leichte Bereitstellung: Dank der Modellquantifizierung und Speicheroptimierungstechniken von MNN kann MNN TaoAvatar auf normalen Smartphones flüssig laufen, ohne spezielle Hardware, wodurch die Benutzerbarriere stark reduziert wird.
Multi-Modalität: Neben der Erkennung von Gesichtsausdrücken unterstützt MNN TaoAvatar auch Spracheingaben, Textgenerierung und Bildgenerierung, was Entwicklern vielfältige Möglichkeiten bietet.
Open-Source-Ökosystem: Als Teil der Open-Source-Strategie von Alibaba bietet MNN TaoAvatar umfassende APIs und Tools, um sie leicht in Android- und iOS-Apps integrieren zu können und die schnelle Entwicklung und Bereitstellung zu erleichtern.
Außerdem optimiert MNN TaoAvatar nicht starre Verformungen durch Wissensverdampfungstechnologien und lernfähige Gaußsche Gemischformen, um virtuelle Abbildungen in komplexen Positionen noch immer hochwertig darzustellen. Diese technologische Innovation ermöglicht es, auf ressourcenbeschränkten mobilen Geräten qualitativ hochwertige Rendering zu erreichen – dies ist ein echtes "Black-Tech"-Innovation im Bereich 3D-Digitale Personen.
Anwendungsgebiete: Von Live-Streaming bis zur Metaverse
Die Anwendungspotenzialität von MNN TaoAvatar ist äußerst vielseitig und wurde bereits in verschiedenen internen Szenarien von Alibaba getestet. Zum Beispiel wird die 3D-Digitale-Personen-Technologie auf Plattformen wie Taobao und Youku bereits verwendet, um die Nutzererfahrung bei Live-Streaming und virtuellen Veranstaltungen zu verbessern. Hier sind einige typische Anwendungsszenarien:
E-Commerce-Live-Streaming: Durch überzeugend realistische 3D-Virtuelle Moderatoren kann MNN TaoAvatar die Immersion der Nutzer steigern und gleichzeitig Kosten für menschliche Ressourcen reduzieren.
Virtuelle Social-Media und Konferenzen: Nutzer können personalisierte 3D-Virtuelle Figuren erstellen, um an virtuellen Konferenzen oder sozialen Interaktionen teilzunehmen, was das Immersionserlebnis verstärkt.
Metaverse und AR: MNN TaoAvatar unterstützt die Ausführung auf AR-Geräten (wie Apple Vision Pro) und bietet technische Unterstützung für Metaversen und VR-Anwendungen.
E-Learning und Unterhaltung: Durch lebendige virtuelle Charaktere kann MNN TaoAvatar die Unterhaltungsfähigkeit und Interaktivität von Bildungs- und Spielenhhalten erhöhen.
Zu erwähnen ist, dass MNN TaoAvatar dank seiner geringen Speicheranforderungen und hoher Kompatibilität besonders für mobile Endgeräte und AR-Geräte geeignet ist, was die technische Grundlage für die Verbreitung der Metaverse festlegt.
Open-Source-Ergebnis: Ein weiteres Meilenstein in der Digital-Personen-Technologie von Alibaba
Die Open-Source-Publikation von MNN TaoAvatar markiert einen weiteren bedeutenden Durchbruch in der Digital-Personen-Technologie von Alibaba. Früher hatte das Ali Tongyi Lab bereits Projekte wie EchoMimic und OmniTalker vorgestellt, die ihre große Erfahrung in diesem Bereich unter Beweis gestellt haben. Mit der Veröffentlichung von MNN TaoAvatar wird das MNN-Okosystem weiter gestärkt und bietet Entwicklern weltweit eine praktische Werkzeugbox zur Erforschung von 3D-Digitale-Personen-Anwendungen.
Der Projekt-Link ist öffentlich verfügbar (https://github.com/alibaba/MNN), und Entwickler können mithilfe der umfassenden APIs und Dokumentationen schnell loslegen und eigene 3D-Digitale-Personen-Anwendungen erstellen. AIbase geht davon aus, dass die Open-Source-Publikation von MNN TaoAvatar nicht nur die Entwicklungshürden für 3D-Digitale-Personen-Technologien senkt, sondern auch deren Verbreitung in kommerziellen Szenarien beschleunigt und starken technischen Support für Content-Creator und Unternehmen bereitstellt.
Weitere Details finden Sie auf der Projekt-Website: https://pixelai-team.github.io/TaoAvatar/ oder auf der GitHub-Seite: https://github.com/alibaba/MNN. [] (https://ai-bot.cn/taoavatar/) [](https://www.aitop100.cn/infomation/details/26939.html)