アリババグループ、革新的なMoE大規模言語モデル2種を発表　訓練コストの大幅削減を実現

先日、アリババグループのLingチームは、プレプリントサーバーArxivにて「FLOP一つ一つが重要：高度なGPUなしで3000億パラメーターの混合専門家LING大規模言語モデルを拡張する」と題する技術論文を発表しました。この論文では、同チームが開発した2つの新型大規模言語モデル、百灵軽量版（Ling-Lite）と百灵強化版（Ling-Plus）を紹介しています。これらのモデルは、設計において複数の革新的な技術を採用することで、低性能ハードウェア上での効率的なトレーニングを実現し、コストを大幅に削減することに成功しました。