ライブ配信、エンターテインメント、商業分野でのバーチャルデジタルヒト技術の広範な応用に伴い、アリババは先ごろ新しい3Dデジタルヒトフレームワークである「Mnn3dAvatar」を重くオープンソースしました。これにより、開発者はリアルタイムな顔キャプチャや3D仮想キャラクター生成ツールを利用できるようになりました。このプロジェクトはその効率と使いやすさにより、ライブコマースや仮想展示などのシナリオに革命的な変革をもたらすことが期待されています。以下では、AIbaseがこの先進技術について詳しく解説します。
Mnn3dAvatarとは？
Mnn3dAvatarは、アリババがオープンソースした軽量級のディープラーニング推論フレームワークであるMNN（Mobile Neural Network）に基づいて開発された新しい3Dデジタルヒトフレームワークです。従来のLive2D技術とは異なり、Mnn3dAvatarは主に3D仮想キャラクターのリアルタイムな顔キャプチャとアニメーションマッピングに焦点を当てており、ユーザーの顔の表情をリアルタイムで3D仮想キャラクターに同期させ、より立体的でリアルな効果を実現できます。
画像提供元：AI生成、画像ライセンスサービス提供者Midjourney
さらに興味深いのは、このフレームワークはリアルタイム顔キャプチャだけでなく、開発者に迅速に3D仮想キャラクターを生成する機能も提供していることです。つまり、複雑なモデリング経験がなくても、開発者はMnn3dAvatarを使用して高品質な3Dデジタルヒトモデルを作成し、コンテンツ制作やビジネス用途に多くの可能性を提供できるようになります。
技術の特長: 高効率、軽量、マルチプラットフォーム
Mnn3dAvatarはMNNフレームワークの強大なパフォーマンスに依存しており、以下の主要な利点があります:
リアルタイム顔キャプチャ: 深層学習アルゴリズムを利用して、Mnn3dAvatarはユーザーの顔表情を正確にキャプチャし、遅延を最小限に抑えて3D仮想キャラクターにマッピングできます。これはライブ配信や仮想会議など、高リアルタイム性が必要なシナリオに適しています。
軽量な展開: MNNフレームワークの最適化により、Mnn3dAvatarはモバイルデバイスやPCなど、さまざまなデバイス上で効率的に動作し、高性能ハードウェアを必要とせず、開発の障壁を下げています。
マルチモーダルサポート: 顔キャプチャだけでなく、テキスト生成、画像生成などの他のタスクにも対応しており、開発者に柔軟な開発インターフェースを提供しています。
オープンソースエコシステム: アリのオープンソースエコシステムの一環として、Mnn3dAvatarは豊富なAPIとツールを提供しており、開発者は簡単にこれをAndroidやiOSプラットフォームのアプリに統合できます。
公開情報によると、Mnn3dAvatarはアリババの内部で複数のシーンで検証され、淘宝（タオバオ）や優酷（ユクオク）などのライブ配信や短編動画機能でその安定性と効率を示しています。
応用例: ライブコマースから仮想展示へ
Mnn3dAvatarのリリースにより、多くの業界に新たな可能性がもたらされました。特に以下のシナリオでは特に注目を集めています:
ライブコマース: リアルタイム顔キャプチャ技術を活用すると、司会者が3D仮想キャラクターに変身してライブ配信を行うことができ、面白さやインタラクティブ性を向上させます。また、本物の出演者に依存しないため、電子商取引プラットフォームは差別化されたコンテンツを作成できます。
仮想展示とエンターテインメント: Mnn3dAvatarは仮想アイドル、ゲームキャラクターのアニメーション、仮想会議などのシナリオに使用でき、ユーザーに没入感のある視覚体験を提供します。
教育とトレーニング: 3Dデジタルヒトを利用して、教育機関は仮想講師を作成し、オンラインコースのインタラクティビティと魅力を向上させることができます。
特に注目すべきは、Mnn3dAvatarの3Dキャラクター生成機能により、コンテンツ制作の障壁が大幅に低下したことです。中小企業や個人開発者でも、このフレームワークを利用して簡単に仮想キャラクターを作成し、ブランドマーケティングや仮想カスタマーサポートなどに活用できます。
アリのオープンソースエコシステムの新たな力作
アリババのオープンソース戦略の重要な部分として、Mnn3dAvatarのリリースはMNNエコシステムの機能をさらに豊かにしました。MNNフレームワークは2019年にオープンソースされて以来、淘宝、天猫、钉钉などの70を超えるシーンで広く使用され、ライブ配信、短編動画、検索推薦など、多くの領域にカバーされています。今回のMnn3dAvatarの登場により、アリがディープラーニングとデジタルヒト技術分野で持つ豊富な蓄積が示されるとともに、グローバルな開発者に3Dデジタルヒトアプリケーションを探究する絶好の機会を提供しました。
さらに、最近アリ通義研究所は別の3Dデジタルヒト生成モデルであるLAM（Live Avatar Model）をオープンソースしました。このモデルは単一の画像から秒単位でインタラクティブな3Dデジタルヒトを生成できます。これはアリがデジタルヒト分野で継続的な革新を続けてきたことを示しています。
将来の展望: デジタルヒト技術の商業化の波
仮想現実（VR）、拡張現実（AR）、メタバース概念の台頭により、3Dデジタルヒト技術は業界の注目の的となっています。Mnn3dAvatarのオープンソースにより、開発者にはコストが低く効率の高い解決策が提供され、デジタルヒト技術の商業化シーンにおける普及を加速させることが期待されます。ライブコマースの新しいモデルや仮想アイドルの構築など、Mnn3dAvatarはコンテンツクリエイターと企業に強力な技術的サポートを提供します。
AIbaseは、Mnn3dAvatarのリリースがアリのオープンソースエコシステムにとって重要な拡張であり、3Dデジタルヒト技術がより普及し多様化する新たなステージに入ったことを示していると述べています。今後、多くの開発者がこのエコシステムに参加することで、3Dデジタルヒトはさらに多くの分野で無限の可能性を示すでしょう。
AIbaseの結論
Mnn3dAvatarのオープンソースは3Dデジタルヒト技術の普及に新しい局面を開きました。ライブコマースの創造的なアップデートや仮想展示の没入的な体験など、このフレームワークは開発者に強力なツールを提供します。
プロジェクトURL: https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README.md