Olmo 3は、Allen Institute for AIによって開発された次世代の言語モデルシリーズで、7Bと32Bの2種類の規模があり、命令型と思考型の2種類のバリエーションがあります。このモデルはDolma 3データセットで事前学習され、Dolciデータセットで事後学習され、長い連鎖的な思考能力を備えており、数学やコーディングなどの推論タスクで優れた性能を発揮します。

自然言語処理Transformers英語

Olmo 3 7B RL-Zero Mixは、Allen AIが開発した7Bパラメータ規模の言語モデルで、Olmo 3シリーズに属します。このモデルはDolma 3データセットで事前学習され、Dolciデータセットで事後学習され、強化学習によって数学、コーディング、推論能力が最適化されています。

自然言語処理Transformers英語

Olmo 3 32B Think SFTはTransformerアーキテクチャに基づく自己回帰型言語モデルで、長い思考連鎖推論に優れており、特に数学やコーディングなどの複雑な推論タスクを処理するのに適しています。このモデルはDolma 3データセットで事前学習され、Dolciデータセットで教師付き微調整されています。

自然言語処理Transformers英語

Olmo 3は、Allen Institute for AI (Ai2)によって開発された全く新しい32Bパラメータの言語モデルファミリーで、Base、Instruct、Thinkなどのバリエーションが含まれています。このモデルはDolma 3データセットを基に訓練され、65,536の長文脈処理をサポートし、言語モデル科学の発展を推進することを目的としています。モデルは完全にオープンソースで、Apache 2.0ライセンスに従っています。

自然言語処理Transformers英語

Olmo-3-7B-Think-SFTはAllen Institute for AIが開発した7Bパラメータの言語モデルで、長い連鎖的な思考能力を持ち、数学やコーディングなどの推論タスクで優れた性能を発揮します。このモデルはDolma 3データセットで事前学習され、Dolciデータセットで後続の学習が行われています。

自然言語処理Transformers英語

Olmo 3は、Allen Institute for AIによって開発された全く新しい7Bパラメータの言語モデルシリーズで、Transformerアーキテクチャに基づき、Dolma 3データセットで訓練され、言語モデル科学の発展を推進することを目的としています。モデルはBase、Instruct、Thinkなどの複数のバリエーションを提供し、最大65,536の文脈長をサポートします。

自然言語処理Transformers英語

AMD-OLMoは、AMDによってAMD Instinct™ MI250 GPU上でゼロからトレーニングされた10億パラメータの言語モデルシリーズで、事前学習モデル、監督微調整モデル、および直接的な嗜好最適化（DPO）に基づくアライメントモデルが含まれます。このシリーズのモデルはOLMoアーキテクチャに基づいており、Dolmaデータセットで事前学習され、複数の指令データセットで微調整されています。

自然言語処理Transformers

OLMo 7B 2024年4月版は、元のOLMo 7Bモデルのアップグレード版で、改良されたDolmaデータセットと段階的なトレーニング方法に基づいており、MMLUなどの評価で24点向上しています。これは開放透明な言語モデルで、推論と微調整タスクをサポートしています。

自然言語処理Transformers英語

OLMo 7B InstructはDolmaデータセットでトレーニングされたオープン言語モデルで、SFTとDPOで最適化され、質問応答タスク向けに設計されています。

自然言語処理Transformers英語