FP8-LMフレームワーク

マイクロソフトがオープンソース化したFP8-LMフレームワークは、大規模言語モデルの学習において顕著な成果を上げています。このフレームワークはFP8混合精度学習を使用し、GPT-175Bモデルの学習においてBF16と比べて64%高速化し、メモリ使用量も42%削減することに成功しました。

FP8-LMフレームワークを使用することで、学習可能なモデルサイズを容易に拡大でき、大規模モデル学習分野における重要なブレークスルーとなっています。