寒武紀宣佈完成對DeepSeek-V4全系列模型的“Day0”適配,基於vLLM推理框架,覆蓋285B參數Flash版及1.6T參數Pro版。通過自研Torch-MLU-Ops算子庫優化稀疏注意力與壓縮結構,確保模型發佈當日即可在寒武紀硬件上穩定運行,相關代碼已開源至GitHub。
寒武紀公司宣佈,已成功完成對深度求索公司開源AI模型DeepSeek-V4的Day 0適配,實現發佈當天即穩定運行。通過自研融合算子庫Torch-MLU-Ops,對模型中的Compressor、mHC等模塊進行鍼對性加速,大幅提升推理效率。同時採用vLLM推理框架,爲用戶帶來更高效的人工智能體驗。
歡迎來到【AI日報】欄目!這裏是你每天探索人工智能世界的指南,每天我們爲你呈現AI領域的熱點內容,聚焦開發者,助你洞悉技術趨勢、瞭解創新AI產品應用。新鮮AI產品點擊瞭解:https://app.aibase.com/zh1、OpenAI出手!Cowork處於研究預覽階段,僅對ClaudeMax訂閱用戶開放,其他用戶可申請加入候補名單。
OpenAI以價值1億美元的股權收購醫療記錄初創公司Torch,其四人團隊將加入OpenAI。該團隊曾任職於AI診所Forward Health,後開發了用於醫療記錄分析的AI工具。
PyTorch原生量化和稀疏性訓練與推理庫
pytorch
這是由PyTorch團隊使用torchao進行量化的Qwen3-8B模型,採用int4僅權重量化和AWQ算法。該模型在H100 GPU上可減少53%顯存使用並實現1.34倍加速,專門針對mmlu_abstract_algebra任務進行了校準優化。
SmolLM3-3B-INT8-INT4是基於HuggingFaceTB/SmolLM3-3B模型進行量化的版本,使用torchao實現了8位嵌入、8位動態激活和4位權重線性量化。該模型轉換為ExecuTorch格式,通過優化在CPU後端實現高性能,特別適合移動設備部署。
Phi-4-mini-instruct模型經torchao進行float8動態激活和權重量化,在H100上實現36%顯存降低和15-20%速度提升,幾乎不影響精度。
Bingsu
基於kss數據集訓練的Tacotron2韓語文本轉語音模型
torchxrayvision
基於DenseNet架構的卷積神經網絡,專為X光圖像分類任務設計,通過密集塊實現層間密集連接。
DenseNet121架構的預訓練模型,專用於胸部X光圖像分類任務,具有18個輸出目標。