寒武紀宣佈完成對DeepSeek-V4全系列模型的“Day0”適配,基於vLLM推理框架,覆蓋285B參數Flash版及1.6T參數Pro版。通過自研Torch-MLU-Ops算子庫優化稀疏注意力與壓縮結構,確保模型發佈當日即可在寒武紀硬件上穩定運行,相關代碼已開源至GitHub。
寒武紀公司宣佈,已成功完成對深度求索公司開源AI模型DeepSeek-V4的Day 0適配,實現發佈當天即穩定運行。通過自研融合算子庫Torch-MLU-Ops,對模型中的Compressor、mHC等模塊進行鍼對性加速,大幅提升推理效率。同時採用vLLM推理框架,爲用戶帶來更高效的人工智能體驗。