Mit der weit verbreiteten Anwendung der Technologie virtueller digitaler Menschen in den Bereichen Livestreaming, Unterhaltung und Wirtschaft hat Alibaba kürzlich eine neue 3D-Digitalpersonen-Rahmenarbeit namens Mnn3dAvatar mit großem Gewicht freigegeben. Dieses Tool bietet Entwicklern leistungsstarke Instrumente für die realezeitfähige Gesichtserfassung und die Generierung von 3D-Virtuellen Charakteren. Aufgrund seiner Effizienz und Benutzerfreundlichkeit ist diese Projektion in der Lage, revolutionäre Veränderungen in Szenarien wie Livestreaming für das Kaufmachen oder virtuelle Präsentationen zu bringen. Im Folgenden erläutert AIbase diese innovative Technologie im Detail.
Was ist Mnn3dAvatar?
Mnn3dAvatar ist ein neues 3D-Digitalpersonen-Rahmenwerk, das auf dem leichtgewichtigen Tiefenlernen-Inferenz-Rahmenwerk MNN (Mobile Neural Network) von Alibaba basiert. Anders als herkömmliche Live2D-Technologien konzentriert sich Mnn3dAvatar auf die realezeitfähige Gesichtserfassung und die Animation von 3D-Virtuellen Figuren, wodurch menschliche Gesichtsausdrücke in Echtzeit auf 3D-Virtuelle Figuren übertragen werden können, was realistischere und voluminöse Effekte hervorruft.
Quellenhinweis: Das Bild wurde durch KI generiert; Bild-Lizenz-Service: Midjourney
Noch faszinierender ist, dass dieser Rahmen nicht nur reale Gesichtserfassung unterstützt, sondern auch Entwicklern hilft, schnell 3D-Virtuelle Figuren zu generieren. Das bedeutet, dass Entwickler ohne komplizierte Modellierungserfahrung dank Mnn3dAvatar hochwertige 3D-Digitalpersonenmodelle erstellen können, was mehr Möglichkeiten für Inhaltserstellung und kommerzielle Anwendungen bietet.
Technische Höhepunkte: Effizienz, Leichtigkeit und Mehrfachplattformunterstützung
Mnn3dAvatar nutzt die starke Leistungsfähigkeit des MNN-Rahmens und hat folgende Kernvorteile:
Realezeitfähige Gesichtserfassung: Durch tiefe Lernalgorithmen kann Mnn3dAvatar genaue menschliche Gesichtsausdrücke erfassen und mit geringer Latenz auf 3D-Virtuelle Figuren abbilden. Dies ist ideal für Szenarien mit hoher Reaktionsfähigkeit wie Livestreaming oder virtuelle Konferenzen.
Leichtgewichtige Bereitstellung: Dank der Optimierung des MNN-Rahmens läuft Mnn3dAvatar effizient auf mobilen Geräten, PCs und anderen Plattformen, ohne auf teure Hardware zurückzugreifen. Dadurch wird die Entwicklungsschwelle gesenkt.
Multimodalunterstützung: Neben der Gesichtserfassung unterstützt Mnn3dAvatar verschiedene Aufgabenarten wie Textgenerierung und Bildgenerierung, was Entwicklern flexible Entwicklungsschnittstellen bietet.
Open Source-Ekologie: Als Teil der Open-Source-Ekologie von Alibaba bietet Mnn3dAvatar umfangreiche APIs und Werkzeuge an, sodass Entwickler es einfach in Anwendungen für Android und iOS integrieren können.
Laut öffentlich verfügbaren Informationen wurde Mnn3dAvatar bereits in verschiedenen internen Szenarien von Alibaba getestet, wie z.B. bei Livestreaming und Kurzvideos von Taobao und Youku. Dies zeigt seine Stabilität und Effizienz in praktischen kommerziellen Szenarien.
Anwendungsbereiche: Von Livestreaming zum virtuellen Präsentieren
Die Veröffentlichung von Mnn3dAvatar bringt neue Möglichkeiten für verschiedene Branchen, insbesondere in folgenden Szenarien, wo sie besonders hervorragt:
Livestreaming für den Kauf: Durch reale Zeit-Gesichtserfassung können Moderatoren als 3D-Virtuelle Figuren auftreten, was die Unterhaltung und Interaktion erhöht und gleichzeitig die Abhängigkeit von echten Moderatoren reduziert. Dies eignet sich gut für E-Commerce-Plattformen, um differenzierte Inhalte zu schaffen.
Virtuelles Präsentieren und Unterhaltung: Mnn3dAvatar kann für virtuelle Idole, Charakteranimationen in Videospielen und virtuelle Konferenzen verwendet werden, um Benutzern eine eingebettete visuelle Erfahrung zu bieten.
Bildung und Schulung: Dank virtueller Lehrkräfte können Bildungseinrichtungen interaktive Online-Kurse bereichern.
Einer der bemerkenswerten Aspekte von Mnn3dAvatar ist die Tatsache, dass seine 3D-Figuren-Generierungsfunktion die Schwellen zur Inhaltserstellung stark senkt. Unternehmen kleiner und mittlerer Größen sowie unabhängige Entwickler können diese Rahmenarbeit nutzen, um schnelle Virtuelle Figuren zu erstellen und sie in Markenmarketing und virtuellen Kundendiensten einzusetzen.
Ein weiterer Meilenstein im Open-Source-Ekosystem von Alibaba
Als wichtiger Bestandteil des Open-Source-Strategieprogramms von Alibaba erweitert die Veröffentlichung von Mnn3dAvatar die Funktionalität des MNN-Ekosystems. Seit der Öffnung von MNN im Jahr 2019 wird dieses Framework bereits in über 70 Szenarien wie bei Taobao, Tmall und DingTalk eingesetzt, um Livestreaming, Kurzvideos und Suchempfehlungen abzudecken. Die Einführung von Mnn3dAvatar zeigt nicht nur Alibabas tiefes Know-how in Tiefenlernen und Digitalpersonentechnologie, sondern bietet auch Entwicklern weltweit die ideale Gelegenheit, sich mit 3D-Digitalpersonenanwendungen zu beschäftigen.
Außerdem hat das AI-Labor von Alibaba kürzlich einen weiteren 3D-Digitalpersonengenerierungsmodell namens LAM (Live Avatar Model) veröffentlicht, das in Sekunden aus einem einzelnen Bild interaktive 3D-Digitalpersonen generiert. Dies zeigt Alibabas kontinuierliches Innovationspotential im Bereich der Digitalpersonen.
Zukunftsaussichten: Die kommerzielle Welle der Digitalpersonen-Technologie
Angesichts der aufkommenden Virtual-Reality-(VR), Augmented-Reality-(AR) und Metaversums-Begriffe wird die Technologie der 3D-Digitalpersonen immer mehr zum Fokus der Branche. Die Open-Source-Veröffentlichung von Mnn3dAvatar bietet Entwicklern kostengünstige und effiziente Lösungen, was die Popularität der Digitalpersonentechnologie in kommerziellen Szenarien beschleunigen könnte. Sei es die innovative Form des Livestreamings oder die Schaffung virtueller Idole, so bietet Mnn3dAvatar Inhabern von Inhalten und Unternehmen starke technische Unterstützung.
AIbase glaubt, dass die Veröffentlichung von Mnn3dAvatar nicht nur eine wichtige Erweiterung des Open-Source-Ekosystems von Alibaba darstellt, sondern auch die 3D-Digitalpersonentechnologie in eine Phase der größeren Zugänglichkeit und Vielfalt weist. In Zukunft wird mit dem Beitritt weiterer Entwickler zu diesem Ökosystem die 3D-Digitalperson in weiteren Bereichen ihr ungeheures Potenzial entfalten.
AIbase-Abschluss
Die Open-Source-Veröffentlichung von Mnn3dAvatar öffnet neue Perspektiven für die Popularisierung der 3D-Digitalpersonentechnologie. Sei es die kreative Verbesserung des Livestreamings oder die eingebettete Erlebnisse des virtuellen Präsentierens, bietet dieses Framework Entwicklern starke Hilfestellungen.
Projektadresse: https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README.md