テンセントがオープンソースのAngelSpecフレームワークをリリース:大規模モデルの実際の推論効率の課題を解決
テンセントがオープンソースの統合トレーニングフレームワークであるAngelSpecをリリースしました。多様なアプローチの協調とワークロードの非均質な適応により、大規模モデルの自己回帰デコードのコストを低下させ、推論スループットを向上させます。異なるシーンにおけるテキストの特徴に応じて差別化されたトレーニング戦略を採用し、例えば高エントロピーの複数ラウンドの対話では軽量で安定したアプローチを使用し、現実的なシナリオでの効率的な推論を実現します。