馬斯克的xAI上線全球最強AI訓練系統Colossus,10萬塊Nvidia H100 GPU加持
埃隆・馬斯克的xAI公司宣佈推出名爲“Colossus”的人工智能訓練系統,其核心是100,000塊Nvidia H100 GPU,被認爲是全球最強大的AI訓練系統。該系統性能甚至可能超越美國能源部的Aurora超級計算機。Colossus的強大主要得益於Nvidia的H100 GPU,這款GPU在運行語言模型時速度比之前的GPU快30倍,尤其在基於Transformer神經網絡架構的任務中表現出色。馬斯克計劃在未來幾個月內將GPU數量增加至200,000塊,包括50,000塊新一代的H200 GPU,以進一步增強性能。此舉將爲xAI的旗艦大型語言模型Grok-2的繼任者提供強大支持,預計該模型將在年底前發佈。Colossus的部分服務器GPU原本是爲特斯拉預留的,但馬斯克向Nvidia請求將價值超過5億美元的12,000塊H100 GPU轉給xAI。到年底,特斯拉在Nvidia硬件上的支出預計將達到30億到40億美元。