NVIDIAが2タワーアイアモデルをオープンソースでリリース、テキスト生成速度が2.42倍向上、画質保持率は98.7%
NVIDIAはNemotron-Labs-TwoTowerの離散拡散言語モデルを発表しました。このモデルは大規模なモデルにおける1トークンずつ生成する遅さという課題を解決し、重みパラメータはHuggingfaceでオープンソースとなっています。このモデルは既存のバックボーンネットワークの予トレーニングされた重みを再利用しており、再度トレーニングすることなくコストを大幅に削減しています。60Bのツーワーク構造を採用しており、2つの30Bネットワークが並列で協働し、それぞれ3Bのパラメータを活性化して128個のルーティング可能なエキスパートモジュールを搭載し、生成効率を向上させています。