SmartMoEシステム

清華大学コンピュータ学科PACMAN研究所は、SmartMoEシステムを発表しました。このシステムは、ユーザーがMixture-of-Experts（MoE）モデルの分散型トレーニングをワンクリックで実現することをサポートし、自動的な並列化戦略の探索を通じてトレーニング性能を向上させます。

本システムは、一般的な並列化戦略、エキスパート配置戦略、そして二段階の自動並列化アルゴリズムに対応しており、高性能なスパース大規模モデルのトレーニングを実現します。