最近、アリババグループ傘下の研究チームが注目すべき新技術TaoAvatarをひっそりと発表しました。この革新的なプロジェクトは、写真のようにリアルな3D全身の会話可能なバーチャルヒューマンの構築に焦点を当てており、拡張現実（AR）アプリケーションに革命的な体験をもたらし、デジタル世界でのインタラクションをより生き生きと自然なものにすることを目指しています。TaoAvatarの登場は、私たちの未来のAR体験に聞き、話し、表情と動きのある「仮想分身」が加わることを意味しています。
次元を超えて、ARシーンで生き生きとした「あなた」を
TaoAvatarの最も重要な機能は、実物の人間に非常に似た3D全身の仮想イメージを作成できることです。さらに重要なのは、これらの仮想イメージは静的なモデルではなく、ARの3Dシーンでリアルタイムで会話できるということです。
未来のECライブコマースで、平面的な主播画面ではなく、立体的な、実物大の仮想イメージがあなたの部屋で熱心に商品を紹介する様子を想像してみてください。ホログラフィック通信では、遠く離れた友人が生き生きとした3Dイメージであなたの前に現れ、まるで近くに居るかのようです。
豊かな表情、自然な動作：魂を持ったバーチャルヒューマンを創造する
AR体験をよりリアルにするために、TaoAvatarは顔の表情と体の動作のコントロールに大きな努力を払っています。
Audio2BSモデルを統合することで、バーチャルヒューマンの顔の表情とジェスチャーは音声コンテンツに応じて動的に生成され、口パク、表情、動作の自然な同期を実現します。つまり、バーチャルヒューマンは話すとき、口が動くだけでなく、自然な視線とボディランゲージを伴い、より感情豊かで生命力のあるものになります。
リアルタイムレンダリング、スムーズな体験：90FPSでARの世界を自由に楽しむ
ARアプリケーションにとって、スムーズな体験は非常に重要です。TaoAvatarは3Dガウススプラッシュ（3DGS）技術を採用し、高品質のリアルタイムレンダリングを実現しています。
Apple Vision Proのような高解像度の立体ディスプレイでも、TaoAvatarは毎秒90フレームの滑らかな動作を維持します。これにより、ユーザーはARアプリケーションを使用する際に、バーチャルヒューマンの動作とインタラクションがスムーズで自然で、全くカクカクしないため、より優れた没入型体験を得ることができます。
軽量で効率的、マルチプラットフォーム対応：未来のARが手の届くところに
高品質のレンダリングに加えて、TaoAvatarはストレージの必要量が少なく、優れたクロスプラットフォーム互換性も備えています。これにより、Apple Vision ProなどのさまざまなモバイルおよびARデバイスに展開できます。
高性能と低リソース消費を実現するために、TaoAvatarチームはまずパーソナライズされた服装拡張SMPLXメッシュを作成し、ガウステクスチャをそれに合わせました。次に、教師ネットワークを使用して複雑な姿勢関連の非剛体変形を学習し、知識蒸留技術を使用して軽量のMLPネットワークに「焼き込み」ました。
さらに、外観の詳細を強化するために学習可能なガウス混合形状も開発しました。これらの技術を組み合わせることで、TaoAvatarはレンダリング品質を維持しながら、リソースが限られたモバイルデバイスでも動作できるようになり、将来の普及の基礎を築いています。
未来への展望：TaoAvatarがAR没入型インタラクションの新時代を開く
TaoAvatarの発表は、アリババの3Dバーチャルヒューマン技術における最新の進歩を示すだけでなく、ARアプリケーションがより没入的で自然なインタラクション方法を迎えることを示唆しています。遠隔協調、オンライン教育、仮想ソーシャル、デジタルエンターテイメントなど、TaoAvatarは重要な役割を果たし、ユーザーがARの世界でコミュニケーションが取れ、感情のある「デジタル分身」を持つことを可能にするでしょう。
