预训练不等于更强大，研究揭示大语言模型的 “灾难性过度训练” 现象

近日，来自卡内基梅隆大学、斯坦福大学、哈佛大学和普林斯顿大学的研究人员揭示了一个关于大语言模型（LLMs）训练的新发现:并不是预训练的数据越多，模型的表现就越好。相反，他们指出，过度的预训练可能会导致模型性能下降，出现一种被称为 “灾难性过度训练” 的现象。在一项研究中，研究者们对 OLMo-1B 模型进行了比较，分别对其进行了2.3万亿和3万亿个标记的训练。出乎意料的是，虽然第二个模型接受了更多的数据训练，但其在一些基准测试（例如 AlpacaEval 和 ARC）的表现却下