人工智能浪潮下,新一代DDR5內存嚴重斷貨。Meta聯合臺積電、美光等開發出過渡方案,讓僅支持DDR5的AI服務器能穩定運行DDR4內存。這套“縫合怪”系統實測穩定性出衆,有效避免數據中心建設受阻。
Ampere 公司宣佈了其產品路線圖的重大更新,發佈旗艦處理器 Aurora,主打 AI 加速與高帶寬內存集成,旨在大幅提升雲原生 AI 計算性能。Aurora 搭載 512 個 Ampere 核心,性能較現有處理器提高三倍以上,專門針對 AI 訓練和推理工作負載設計,顯示 Ampere 在 AI 計算領域的雄心。Aurora 採用可擴展的 AmpereOne Mesh 架構,集成 Ampere AI IP 和高帶寬內存,具備處理複雜 AI 工作負載的強大性能和靈活性。此發佈使 Ampere 成爲高核數處理器市場的競爭者,與 AMD 和英特爾等巨頭競爭。Ampere 還透露了其產品線的其他更新,包括即將推出的 AmpereOne M 系列,引入 12 通道 DDR5 平臺,到 2025 年計劃將內核數量增加到 256 個,進一步提升處理器性能。
["富士通正在研發下一代AI、HPC和數據中心處理器Monaka,採用150個Armv9核心。","Monaka將採用2納米工藝,預計2027年上市。","Monaka配備SVE2指令集,支持DDR5內存和PCIe 6.0接口。","Monaka採用3D芯片設計,通過分離架構實現可擴展性。","Monaka定位爲AI和數據中心處理器,提升能效是其關鍵特性之一。"]
["2023年全球服務器出貨量和ODM生產計劃遭下修。","AI領域需求壓縮了服務器新平臺的放量規模。","DDR5導入比重預計將延後至2024年第三季底。"]
Downtown-Case
GLM 4.6是一款專為128GB內存+單GPU配置優化的量化模型,採用IQ_K量化方式,相比主流llama.cpp在相同大小下提供更好的質量和性能。該模型需要配合ik_llama.cpp使用,在128GB雙通道DDR5內存、單CCD Ryzen 7000處理器+單張3090顯卡配置下,文本生成速度可達每秒約6.8個token。