預訓練不等於更強大，研究揭示大語言模型的 “災難性過度訓練” 現象

近日，來自卡內基梅隆大學、斯坦福大學、哈佛大學和普林斯頓大學的研究人員揭示了一個關於大語言模型（LLMs）訓練的新發現:並不是預訓練的數據越多，模型的表現就越好。相反，他們指出，過度的預訓練可能會導致模型性能下降，出現一種被稱爲 “災難性過度訓練” 的現象。在一項研究中，研究者們對 OLMo-1B 模型進行了比較，分別對其進行了2.3萬億和3萬億個標記的訓練。出乎意料的是，雖然第二個模型接受了更多的數據訓練，但其在一些基準測試（例如 AlpacaEval 和 ARC）的表現卻下