彩雲小夢V3.5上線!突破性提升Transformer效率
彩雲科技日前在北京舉辦"From Paper to App"主題溝通會,正式發佈基於DCFormer架構的通用大模型"雲錦天章",並宣佈旗下AI RPG平臺彩雲小夢升級至基於DCFormer的V3. 5 版本。這標誌着人工智能領域在模型架構效率方面取得重大突破。在AI領域,Transformer架構一直是ChatGPT、Gemini等主流大模型的核心技術支撐。今年,彩雲科技在國際頂級會議ICML上發表的論文《Improving Transformers with Dynamically Composable Multi-Head Attention》首次提出DCFormer架構。測試顯示,基於該架構開發的DCPythia-6.9B模型在性能上實現了對傳統