上海科技大學推新AI模型CLAY:從文字和圖像生成詳細3D物體
上海科技大學科學家開發了CLAY,一款AI模型,能從文字或2D圖像生成詳細3D物體,質量、多樣性和生成速度均優於前代技術。CLAY核心包括一個多分辨率變分自編碼器和擴散變換器,能直接處理3D內容,無需轉換。通過訓練超過50萬種3D模型,CLAY能生成從日常物品到複雜生物的物體,並通過額外輸入實現精確控制,生成城市場景及從草圖重建3D模型。在與Shap-E、DreamFusion、Wonder3D等系統比較中,CLAY在一致性、細節精細度和生成速度方面表現出優勢。CLAY在遊戲、電影製作和3D打印領域有廣泛應用前景,其生成質量高,速度驚人。