アリババ・ベイリン大モデルチームがRing-flash-linear-2.0-128Kをオープンソース化。混合アテンションとMoEアーキテクチャで長文プログラミングの効率を再構築

アリババグループがベイリン大モデルのRing-flash-linear-2.0-128Kをオープンソース化。超長文プログラミングに特化。混合線形アテンションとスパースMoEアーキテクチャを採用し、6.1Bパラメータのみを活性化することで40Bの密なモデルと同等の性能を達成。コード生成やスマートエージェント分野で最高水準の結果を実現し、長い文脈処理の問題を効率的に解決。