アレン人工知能研究所が複数の大学と共同で、世界初の100%オープンソースの大規模言語モデル「OLMo」を発表しました。これは、重み、コード、データセット、そしてトレーニングの全過程を含む、完全に公開されたモデルです。
性能評価の結果、いくつかのタスクにおいてOLMo-7Bがわずかに優れた性能を示しました。同時に、研究者らは事前学習用データセット「Dolma」も公開し、言語モデルの事前学習におけるオープンな研究を促進しています。
データの透明性に関しては、データ整理ツールと分析ツールを提供することで、高い透明性を確保しています。