OLMo: オープンソース大規模言語モデルフレームワーク

AI2は、大規模言語モデルの研究開発を促進するため、オープンソースの言語モデルフレームワーク「OLMo」を発表しました。

このフレームワークは、Hugging FaceとGitHub上で、トレーニングコード、モデル、評価コードを提供しており、学術界や研究者による言語モデルに関する共同研究を可能にします。具体的には、新しい事前学習データセットが下流タスクのパフォーマンスに与える影響の調査や、新しい事前学習方法と安定性の研究などが含まれます。