上海科技大学の科学者たちは最近、テキスト記述や2次元画像から詳細な3Dオブジェクトを生成できるCLAYという人工知能モデルを開発しました。従来の技術と比較して、CLAYは3Dオブジェクトの生成品質と多様性の両方において顕著な進歩を遂げています。
CLAYモデルの中核は、マルチレゾリューション変分オートエンコーダ（VAE）と拡散トランスフォーマー（DiT）です。VAEは異なる詳細レベルの3D形状を潜在空間にエンコードし、DiTはこれらの形状を生成します。多くの他のシステムとは異なり、CLAYは2D画像への変換を必要とせずに、直接3Dコンテンツを処理できます。
CLAYのトレーニングデータは50万種類以上の3Dモデルで、シンプルな日常品から複雑な空想上の生き物まで、様々なオブジェクトが含まれています。さらに、CLAYは追加の入力による制御機能も備えています。ユーザーは、ボクセル構造、点群、または境界ボックスなどの粗い形状を指定することで、生成結果を正確に制御できます。この柔軟性により、CLAYは都市全体のシーンを生成したり、手書きスケッチから詳細な3Dモデルを再構築したりできます。
Shap-E、DreamFusion、Wonder3Dなどの他のシステムと比較した場合、CLAYは明確な優位性を示しています。テキストから3Dへの変換、画像から3Dへの変換のいずれにおいても、CLAYはより一貫性のある幾何学的形状、より滑らかな表面、より精細なディテールを生成できます。CLAYは高品質な3Dアセットを約45秒で生成する驚異的な速度も実現しており、他のシステムでは最適化に数時間かかる場合があります。
CLAYの潜在的な応用範囲は非常に広く、ゲーム開発、映画制作、3Dプリントなどの分野が含まれます。それにもかかわらず、研究者たちはAIが生成する仮想コンテンツの潜在的なリスクを認識しており、責任ある使用を確保するために、より多くの安全対策を追加する予定です。
将来、研究者たちはトレーニングデータのさらなる拡張、モデル品質の向上、幾何学的生成と材料合成の単一モデルへの統合を計画し、より包括的な機能を実現することを目指しています。3D-GenサービスRodinを通じて、CLAYのバージョンにアクセスできます。
製品入口：https://hyperhuman.deemos.com/rodin
### 重要なポイント:
- 🏆 **CLAYによる3D生成技術のブレークスルー**: CLAYはテキストと画像から詳細な3Dオブジェクトを生成でき、生成品質と速度は従来の技術を上回っています。
- ⚡ **驚異的な生成速度**: CLAYは高品質な3Dアセットを約45秒で生成でき、他のシステムよりもはるかに高速です。
- 🎮 **広範な応用展望**: CLAYはゲーム開発、映画制作、3Dプリントなど、多くの分野で重要な役割を果たす可能性を秘めています。
