​新微調框架 LoRA-Dash：高效應對特任務，算力需求大幅降低

近日，來自上海交通大學和哈佛大學的研究團隊推出了一種全新的模型微調方法 ——LoRA-Dash。這個新方法聲稱比現有的 LoRA 方法更加高效，特別是在特定任務的微調中，它可以在參數量減少8到16倍的情況下，依然達到相同的效果。這無疑是對那些需要大量計算資源的微調任務的一次重大突破。在大規模語言模型快速發展的背景下，微調特定任務的需求日益增長。然而，微調往往需要消耗大量的計算資源。爲了解決這一問題，研究團隊引入了參數高效微調（PEFT）策略，LoRA 就是一個典型的例