科学者たちが、世界最強のスーパーコンピューターを用いて、ChatGPTレベルの言語モデルの訓練に成功しました。驚くべきことに、スーパーコンピューターの計算能力のわずか8%しか使用していません。
この画期的な成果は、オークリッジ国立研究所(Oak Ridge National Laboratory)の研究チームによるものです。彼らは、Frontierスーパーコンピューター上で、1兆個のパラメーターを持つ大規模言語モデルの訓練を行いました。分散型訓練と並列処理技術を用いることで、100%の弱スケーラビリティ効率を実現しました。
しかしながら、大規模言語モデルの訓練には依然として課題が残っています。特に、メモリの問題は克服すべき重要な点です。
今回の研究成果は、将来、さらに巨大な言語モデルを訓練するための貴重な経験を提供します。そして、分散型訓練と並列計算の重要性を改めて浮き彫りにしました。