オンラインショッピングで、モデル着用写真と実際の写真の差にがっかりしたことはありませんか？同じ服なのに、モデルが着るとおしゃれなのに、自分が着ると「見劣りする」なんて経験はありませんか？心配しないでください！ドイツのビーレフェルト大学の機械学習チームが開発したTryOffDiffというAI技術が、写真から人物を「消去」し、服だけを残して標準的な商品展示画像を生成します！
この技術は強力な「拡散モデル」AI技術を利用し、写真から衣服の形状、色、質感などの情報を識別し、それらの情報を高解像度の商品展示画像に「復元」します。生成された画像は細部まで鮮明でリアルで、背景も自動的に除去され、プロのフォトグラファーの作品のようです！
TryOffDiffの動作原理とは？簡単に言うと、熟練の「仕立て屋」のようなものです。まず、SigLIPという画像エンコーダーを使用して、色、質感、模様など、衣服の特徴情報を写真から抽出します。これは仕立て屋が生地を注意深く観察するようなものです。次に、これらの情報をStable Diffusion画像生成モデルに「供給」します。Stable Diffusionは、まるで魔法の「ミシン」のように、入力情報に基づいて様々な画像を生成できます。最後に、Stable Diffusionは抽出された衣服の特徴情報に基づいて標準的な商品展示画像を生成し、衣服を仮想モデルに「着せ」、仕立て屋が完璧な衣服を作るように仕上げます。
TryOffDiffの効果をテストするために、研究者たちはVITON-HDというデータセットを使用してトレーニングとテストを行いました。実験の結果、TryOffDiffの効果は非常に優れており、生成された衣服画像は細部まで鮮明で非常にリアルで、プロのフォトグラファーの作品にも匹敵します！既存のバーチャル試着技術と比較して、TryOffDiffは衣服のディテール、特に模様やロゴなどの再現性に優れています。
この技術の応用範囲は非常に広く、消費者が商品情報をより良く理解するのに役立つだけでなく、ECサイトの商品展示効果を高め、返品率を下げることもできます。将来、オンラインショッピングで服を買うときには、自分の写真をアップロードするだけで、様々な服を着た自分の姿を確かめることができ、モデル着用写真と実際の写真の「違い」を心配する必要がなくなります！
オンライン体験：https://huggingface.co/spaces/rizavelioglu/tryoffdiff
プロジェクトアドレス：https://rizavelioglu.github.io/tryoffdiff/
