淘天グループと愛橙科技が巨大言語モデル訓練フレームワークMegatron-LLaMAをオープンソース化

淘天グループと愛橙科技は、巨大言語モデルの訓練フレームワークMegatron-LLaMAをオープンソース化しました。このフレームワークは、大規模言語モデルの訓練性能を向上させ、訓練コストを削減し、LLaMAコミュニティとの互換性を維持します。32枚のGPUを用いた訓練において、176%の高速化を実現しました。