Sakana AI 的 Transformer² 模型突破 LLM 限制,實現動態推理
Sakana AI 是一家專注於自然啓發算法的人工智能研究實驗室,近日推出了一種名爲 Transformer² (Transformer-squared) 的創新自適應語言模型。該模型無需昂貴的微調,即可在推理過程中動態學習並適應新任務,這標誌着大型語言模型 (LLM) 技術發展的重要一步。Transformer² 的核心創新在於其獨特的兩步動態權重調整機制。首先,它分析傳入的用戶請求,理解任務需求;然後,通過數學技巧,利用奇異值分解 (SVD) 將模型權重與任務需求對齊。通過有選擇地調整模型權重的關鍵組件,Transformer² 能