GTX 580 老舊顯卡也能訓練 GPT-4，成本高達驚人的十倍

最近，人工智能研究公司 Epoch AI 發佈了一款互動模擬器，專門用於模擬訓練大型語言模型所需的計算能力。通過這款模擬器，研究人員發現，雖然可以使用2012年的老舊顯卡（如 GTX580）來訓練 GPT-4，但成本將是如今現代硬件的十倍。Epoch AI 的研究顯示，訓練 GPT-4所需的浮點運算次數（FLOP）在1e25到1e26之間。爲了進行這項研究，模擬器分析了不同顯卡的效率，特別是在模型規模擴大時的表現。結果表明，隨着模型的增長，效率通常會降低。以近年來推出的 H100顯卡爲例，它能在較長時間內保