中国科学技術大学の研究チームが、PortraitGenという革新的なビデオ編集ツールを発表しました。ビデオを入力するだけで、テキストによる人物効果の変更、参照画像による人物効果の変更、着せ替え、光照効果の変更など、多様なポートレート編集が可能です。
さらに驚くべきことに、これらすべてがわずか30分で行え、編集後のポートレートビデオは毎秒100フレームの滑らかな再生が可能です！
この技術の中核は、SMPL-X係数の追跡にあります。研究チームはまず単眼ビデオを追跡し、次にニューラルガウシアンテクスチャと呼ばれるメカニズムを用いて、3Dガウシアン特徴場を構築します。
データセットを反復的に更新することで、ユーザーは多様なポートレート編集を実現できます。「顔意識編集」モジュールも特筆すべき点で、表情の質を高めながら、個々の顔の特徴を維持し、自然で繊細な編集効果を実現します。
テキストによる人物効果の変更
PortraitGenの編集機能は非常に強力で、テキスト駆動型と画像駆動型の編集が可能です。
例えば、テキスト駆動型編集ではInstructPix2Pixという2D編集モデルを使用します。ユーザーはRGB画像、テキスト指示、ノイズを含む潜在画像を入力するだけで、システムはこれらの情報に基づいて精密な調整を行います。
スタイル化編集
画像駆動型編集では、チームは様々なニーズに対応するため、スタイル転送やバーチャル試着などの技術を採用しており、ユーザーは簡単にスタイルをビデオフレームに転送したり、着せ替え効果を実現したりできます。
光照の変更
さらに興味深いことに、PortraitGenはユーザーが提供した光照の説明に基づいてビデオフレームの光照を調整し、ビデオ全体をより調和のとれた美しいものにすることができます。
他の最先端のビデオ編集ツールとの比較において、PortraitGenはプロンプトの保持、アイデンティティの保持、時間的一貫性において非常に優れた性能を示しています。
技術的な詳細としては、PortraitGenが導入したニューラルガウシアンテクスチャ技術は、従来の球面調和係数法とは異なり、各ガウシアン点に学習可能な特徴を保存することで、より豊かな編集効果を実現し、より複雑なスタイルをサポートします。
さらに、顔認識による編集機能の強化と表情の一貫性の最適化により、PortraitGenは精密なポートレート編集分野における強力な可能性を示しています。
プロジェクト入口：https://top.aibase.com/tool/portraitgen
重要なポイント：
✨ PortraitGenはわずか30分で2Dポートレートビデオを4Dガウシアン場に変換し、毎秒100フレームの滑らかな再生をサポートします。
🎨 テキスト駆動型と画像駆動型の編集方法を提供し、ビデオスタイルの変更をより柔軟で多様なものにします。
💡 顔意識編集モジュールにより、表情の質を高めながら、ユーザー固有の顔の特徴を維持します。
