Olmo 3はAllen Institute for AIによって開発された一連の言語モデルで、7Bと32Bの2種類の規模があり、命令式と思考式の2種類のバリエーションがあります。このモデルは長鎖思考に優れており、数学やコーディングなどの推論タスクの性能を効果的に向上させることができます。多段階訓練方式を採用しており、教師付き微調整、直接嗜好最適化、検証可能な報酬による強化学習が含まれます。

自然言語処理Transformers英語

Olmo-3-7B-Think-DPOはAllen Institute for AIが開発した70億パラメータの言語モデルで、長い連鎖的な思考能力を持ち、数学やコーディングなどの推論タスクで優れた性能を発揮します。このモデルは、教師付き微調整、直接的な嗜好最適化、検証可能な報酬に基づく強化学習などの多段階の訓練を経ており、研究や教育目的に特化して設計されています。

自然言語処理Transformers英語

これはNVIDIAがQwen3アーキテクチャに基づいて開発した32Bパラメータの報酬モデルで、強化学習における報酬評価と原則アライメントに特化しており、より安全で人間の価値観に沿ったAIシステムのトレーニングを支援します。

自然言語処理Gguf

AesCoder-4Bは、コードの美学的品質の向上に特化した大規模言語モデルです。インテリジェントな報酬フィードバックメカニズムを通じて、コード生成の美学的表現を最適化し、ウェブデザインやゲーム開発などのビジュアルコーディングタスクで優れた性能を発揮します。

自然言語処理Transformers

BR-RMは革新的な2ラウンド推論報酬モデルで、適応的分岐と分岐に基づく反省メカニズムにより、従来の報酬モデルにおける「判断拡散」の問題を解決し、複数の報酬モデリングベンチマークテストで業界をリードする性能を達成しました。

自然言語処理Transformers英語

Qwen3-4B-SafeRLはQwen3-4Bモデルの安全アライメントバージョンで、強化学習によるトレーニングを通じて、モデルが有害または敵対的なプロンプトに対する頑健性を強化しています。このバージョンでは混合報酬関数を用いた最適化を行い、安全性、有用性、不要な拒否の最小化という3つの目標をバランスさせています。

自然言語処理Transformers英語

G²RPOは、流モデルの嗜好アライメントに特化した新しい強化学習フレームワークで、粒度化報酬評価メカニズムにより生成品質を大幅に向上させます。

マルチモーダルDiffusers

Qwen3-4B-SafeRLはQwen3-4Bモデルをベースにしたセキュリティアライメント版で、強化学習による訓練とQwen3Guard-Genの報酬信号を組み合わせることで、有害または敵対的なプロンプトに対するモデルのロバスト性を強化し、セキュリティを保ちながら、過度に簡単な拒否行動や回避的な拒否行動を避けています。

自然言語処理Transformers

Frugal-Math-4Bは、数学推理を最適化した4Bパラメータの言語モデルで、強化学習検証報酬（RLVR）手法により訓練され、高い正確性を維持しながら、簡潔で検証可能な数学的解決策を生成し、推論の冗長性を大幅に削減します。

自然言語処理Transformers多言語

Qwen3-4B-I-1509は、Qwen3-4B-Instruct-2507ベースモデルをファインチューニングした専用モデルで、ツールの使用と関数呼び出しの生成タスクに特化しています。このモデルは、多信号報酬の強化学習方法を用いて訓練され、複数の評価基準で良好な性能を示しています。

自然言語処理Transformers英語

SRPOは拡散モデルに対する人間の嗜好アライメント手法で、Direct-Align技術と意味的相対嗜好最適化により、FLUX.1-devモデルのリアリティと美学品質を大幅に向上させ、多段階ノイズ除去の計算コストが高い問題とオフライン報酬微調整に依存する問題を解決します。

コンピュータビジョンDiffusers

DeepSeek-GRM-16BはSelf-Principled Critique Tuning (SPCT)に基づく生成型報酬モデルで、クエリ-応答に対して透明な「原則→批判→スコア」の評価プロセスを生成し、大規模言語モデルの強化学習、評価、データ収集などのタスクに使用できます。

自然言語処理Transformers多言語

Seed-X-RM-7BはSeed-Xシリーズの報酬モデルで、翻訳品質の評価に特化しています。このモデルは70億パラメータのMistralアーキテクチャに基づいており、多言語翻訳に報酬スコアを割り当てることができ、25種類の言語間の翻訳品質評価をサポートしています。

自然言語処理Safetensors

これは32Bパラメータの評判モデルの量子化バージョンで、モデル評価、報酬モデリング、テキストソートなどのタスクに適しています。

自然言語処理Transformers英語

CompassJudger-2-32B-Instructの静的定量化バージョンで、判断モデル、評価、報酬モデリング、テキストソートなどのタスクに適しています。

自然言語処理Transformers英語

POLAR-7Bは大規模事前学習に基づくスカラー報酬モデルで、革新的な戦略判別式学習パラダイムを採用し、戦略を効果的に区別し、人間の嗜好と一致させることができます。

自然言語処理Transformers多言語

GTA1は強化学習（GRPO）に基づくGUI位置決定モデルで、成功したクリックに直接報酬を与えることで正確な位置決定を実現し、長い思考チェーン推論を避けます。

マルチモーダルTransformers

Llama-3.1-8B-Instruct-RM-RB2はAllen人工知能研究所が公開した報酬モデルの一つで、Llama-3.1-8B-Instructをベースに微調整され、生成モデルの嗜好学習を評価および最適化するために使用されます。

自然言語処理Transformers英語

Llama-3.1-70B-Instruct-RM-RB2はアレン人工知能研究所が発表した7つの報酬モデルの1つで、ベンチマークテストの開発と下流のPPO/Best-of-N性能との関連分析に使用されます。

自然言語処理Transformers英語

ThinkPRM-7Bは、R1-Distill-Qwen-7Bアーキテクチャに基づく生成型プロセス報酬モデルで、推論過程を段階的に検証するために特別に設計されています。明確な検証思考連鎖を生成することで、数学の問題解決やコード生成などの推論タスクの各ステップの正しさを評価し、データ効率が高く、説明可能性が強いという特徴があります。

自然言語処理Transformersその他