挑戰傳統：無歸一化層的 Transformer 架構新突破

在深度學習領域，歸一化層被視爲現代神經網絡中不可或缺的組件之一。最近，一項由 Meta FAIR 研究科學家劉壯主導的研究成果 ——“沒有歸一化層的 Transformer” 引發了廣泛關注。這項研究不僅提出了一種名爲動態 tanh（Dynamic Tanh，DyT）的新技術，還展示了在不使用傳統歸一化層的情況下，Transformer 架構依然可以實現高效的訓練和推理。歸一化層，尤其是層歸一化（Layer Normalization，LN），在過去的十年中對優化深度學習模型起到了至關重要的作用。LN 層通過將輸入激活進行縮放和壓縮，從