上海科技大学推新AI模型CLAY:从文字和图像生成详细3D物体
上海科技大学科学家开发了CLAY,一款AI模型,能从文字或2D图像生成详细3D物体,质量、多样性和生成速度均优于前代技术。CLAY核心包括一个多分辨率变分自编码器和扩散变换器,能直接处理3D内容,无需转换。通过训练超过50万种3D模型,CLAY能生成从日常物品到复杂生物的物体,并通过额外输入实现精确控制,生成城市场景及从草图重建3D模型。在与Shap-E、DreamFusion、Wonder3D等系统比较中,CLAY在一致性、细节精细度和生成速度方面表现出优势。CLAY在游戏、电影制作和3D打印领域有广泛应用前景,其生成质量高,速度惊人。