研究人员发现一种训练大型语言模型的省力方法 能耗降低30%

近日，密歇根大学的一项新研究发现，一种训练大型语言模型的省力方法可以在相同的时间内完成，但能耗可降低30%。这种方法可以节省足够的能源，到2026年为110万美国家庭供电。研究人员开发了一款名为 Perseus 的软件工具，通过识别关键路径，即需要最长时间才能完成的一系列子任务。然后，Perseus 会降低非关键路径上的处理器速度，以便它们都能在同一时间完成工作，从而消除不必要的功耗。该团队通过训练 GPT-3、其他三个大型语言模型和一个计算机视觉模型来测试 Perseus。结果表明