LLMの強化学習互換性を探る：上海交通大学がLlamaとQwenの違いを明らかにし、OctoThinkerを発表

AIbase基地

公開日AIニュース · 1 分で読めます · Jul 3, 2025

大規模言語モデル（LLM）は、タスクプロンプトと大規模な強化学習（RL）を組み合わせることで、複雑な推論タスクにおいて顕著な進展を遂げました。例えば、Deepseek-R1-Zeroなどのモデルは、直接的に強化学習を基本モデルに適用し、非常に強力な推論能力を示しています。しかし、この成功は異なる基本モデルシリーズ間で再現するのが難しいことが判明しており、特にLlamaシリーズではその傾向が顕著です。これにより、根本的な問題が生じます：なぜ異なる基本モデルが強化学習の過程で異なる性能を示すのでしょうか。

Llamaモデルにおける強化学習の拡張制限

OpenAIのo1、o3やDeepSeekのR1など、コンペティションレベルの数学問題において大規模な強化学習によって突破を遂げたモデルは、数十億パラメータ以下の小さなモデルの強化学習能力の探求を促進しました。しかし、これらの進展はQwenモデルシリーズに限定され、Llamaなどのモデルでは再現が困難です。予訓練プロセスの透明性が欠如しているため、予訓練が強化学習の拡張に与える影響を理解することが困難です。一部の非伝統的な研究では、一度きりのプロンプトがQwenの推論能力を向上させることを見出しましたが、Llamaにはほとんど効果がありませんでした。OpenWebMathやMathPileなどのプロジェクトが高品質な数学予訓練コーパスの整備に努めているものの、その規模はまだ数百億トークン以下に留まっています。

トレーニング中盤の安定減衰戦略の探求

上海交通大学の研究者たちは、QwenとLlamaを対象に、中盤トレーニング戦略が強化学習のダイナミクスに与える影響を深く探究し、以下の知見を得ました。

まず、MegaMath-Web-Proのような高品質な数学コーパスは、基本モデルと強化学習の両方に同時に改善効果をもたらします。次に、質問と回答形式のデータ、特に長期間のCoT（Chain-of-Thought）推論を含むデータを使用することで、強化学習の効果をさらに高めることができます。第三に、長期間のCoTは強化学習トレーニング中に冗長性と不安定性をもたらします。最後に、中盤トレーニング段階で拡張を適用することで、下流の強化学習性能を向上させることができます。

研究者たちは、「安定-減衰」と呼ばれる2段階の中盤トレーニング戦略を提案しました。まず、2,000億トークンで基本モデルをトレーニングし、その後、3つのCoT中心のサブタスクで200億トークンずつトレーニングを行います。最終的に、この戦略により、強化学習に優れたOctoThinkerモデルが生成されました。

RL設定とベンチマーク評価

研究者たちはMATH8Kデータセットを使って強化学習（RL）のトレーニングプロンプトを設定し、設定内容には全体のトレーニングバッチサイズ128、各クエリごとの16回のロールアウト応答、およびPPOの最小バッチサイズ64が含まれます。実験はLlama-3.2-3B-BaseとQwen2.5-3B-Baseモデルで行われました。評価では、基本言語モデルは少量のプロンプトを使用し、強化学習チューニングモデルはGSM8K、MATH500、OlympiadBench、AMC23などの指標タスクでゼロショットプロンプトを使用しました。

強化学習トレーニング中のQwenモデルの応答長は継続的に増加し、適切な範囲内で維持されていますが、Llamaモデルは異常な挙動を示し、平均応答長が4,096トークンに急上昇しています。評価結果によると、強化学習チューニング後のQwen2.5-3Bはすべてのベンチマークテストで改善が見られますが、Llama-3.2-3Bの改善はわずかです。

OctoThinkerはLlamaよりRL互換性が優れている

13の数学ベンチマークテストにおいて、各OctoThinkerのサブタスクは元のLlamaベースモデルよりも10％〜20％高い性能を示し、すべての規模の安定段階モデルで継続的な改善が確認されました。OctoThinker-Zeroシリーズは強化学習拡張プロセス中に多様な思考行動を示し、そのうちOctoThinker-Longバージョンが特に優れています。3B規模の基本モデルを比較した強化学習トレーニングでは、OctoThinker-Long-3Bは元のLlama-3.2-3Bモデルを上回り、強力な推論能力と広範な予訓練で知られるQwen2.5-3Bモデルと同等の性能を達成しました。混合サブタスクと短いサブタスクの性能はやや低く、特に挑戦的なベンチマークテストでは顕著です。

結論と今後の研究:RL対応型基本モデルへの道

この研究は、LlamaやQwenなどの基本モデルが強化学習推論プロセスにおいて異なる挙動を示す理由を深く探求し、中盤トレーニングが強化学習の拡張性において重要であることを強調しています。2段階の中盤トレーニング戦略により、Llamaは強化学習に適した基本モデルに変化し、最終的にOctoThinkerモデルが生まれました。

今後の研究方向には、中盤トレーニングを改善するためのより高品質な数学コーパスの構築；長期間のCoT推論モデルから抽出することなく、オープンなレシピを使ってRLに適した基本モデルを作成すること；QA形式とコンテンツを分離してそれぞれの寄与を別々に理解すること；そして新しいサブタスク（例：ツール統合推論）を通じてOctoThinkerファミリーを拡張することが含まれます。

脳虎テクノロジーの創設者彭雷が、今後の5年間における脳機接続インターフェースの5つの破壊的トレンドを予測

2025年のアブリ中国企業家フォーラム第11回イノベーション会議において、脳虎テクノロジーの創設者兼会長である彭雷氏は、脳機接続インターフェース（BCI）技術の将来について深く考察し、今後5年間におけるこの分野の5つの新しいトレンドを提起しました。これらのトレンドは、人間の生活様式やテクノロジーの枠組みを根本的に変える可能性があります。1. 脳と脊髄の融合：麻痺患者への希望彭雷氏は、脳機接続インターフェースと脊髄の統合が今後の大きなトレンドになると指摘しました。脳と脊髄は密接に結びついているため、高位截肢症の患者では脊髄の損傷により神経信号の伝達が妨げられます。今後、

大モデルの秘密を解く！その『思考単語』の裏には驚くほど多くの情報が隠されていた

最近、中国人民大学、上海人工知能実験室、ロンドン大学学院、大连理工大学の研究チームは、大モデルの推論プロセスにおける重要な発見を明らかにしました。それは、モデルが思考しているとき、「思考単語」として使用される言葉が、その内部情報量の顕著な増加を示しているということでした。この研究成果は情報論の手法を通じて、私たちが人工知能の推論メカニズムをよりよく理解するための新しい視点を提供しています。あなたが大モデルが質問に答えるときに、人間のような言葉を出力する様子を見たことがあるかもしれません。例えば「ええと…」「考えてみるね…」などです。

E InkがAIタッチパッドを発表：電子ペーパー技術がノートブックコンピュータのインタラクションを変える可能性

E Ink社は最近、ノートブックコンピュータ用に開発した新たなタッチパッドを発表しました。このタッチパッドは電子書籍リーダーと同じ電子インク技術を採用しています。このイノベーション製品は、単にタッチパッドのサイズを拡大したり、付加的な表示機能を追加するだけではなく、AIアプリケーションとアシスタントの専用プラットフォームとして位置づけられ、主流のオペレーティングシステムと共に動作することを目的としています。E Inkはサンプル機の画像を公開しており、アップグレードされたタッチパッドにはカラーエレクトロニクスインクディスプレイが備わっており、アマゾン・キンドルカラーのようなものであることがわかります。

オープンソース革命！Kyutai TTSがリリース：超低遅延の音声合成AIが新たな時代をもたらす！

最近、フランスのAI研究室Kyutaiは、新しいテキストから音声への変換モデルであるKyutai TTSを正式にオープンソース化したことを発表しました。これは、世界中の開発者や研究者に高性能で低遅延な音声合成ソリューションを提供し、オープンソースAI技術の発展を促進するとともに、多言語の音声インタラクションアプリケーションの新しい可能性を切り開くものです。AIbaseが独自にこの技術的な特徴とその潜在的な影響を解説します。超低遅延によって実現されるリアルタイムのインタラクティブな体験がKyutai TTSの優れた性能です。

DeepMindがCromeを発表：大規模言語モデルの人類フィードバックへの整合性向上

人工知能分野において、報酬モデルは大規模言語モデル（LLMs）と人間のフィードバックを整合させる上で重要な要素であるが、現存するモデルには「報酬ハッカー」と呼ばれる問題が存在する。これらのモデルは、回答の長さや形式などの表面的な特徴に注目しがちであり、事実の正確性や関連性などの本質的な品質指標を見極めることは困難である。その原因は、標準的な学習目標が訓練データ内に存在する誤った相関関係と真の因果関係を区別できないことにある。この失敗により、脆弱な報酬モデル（RMs）が生成され、整合されていない戦略が生じる。

CoreWeave が最新のNVIDIA AIチップを先駆けてリリースし、クラウドコンピューティング業界のイノベーションを支援

最近、NVIDIAとCoreWeaveは、NVIDIAが最新に開発した人工知能用グラフィックプロセッシングユニット（GPU）Blackwell UltraチップがCoreWeaveで商業的な導入が行われたことを発表しました。このニュースは、AI技術におけるクラウドコンピューティングサービスに新たな活力をもたらすものです。デルもまた、CoreWeaveがNVIDIAのGB300NVL72AIシステムに基づくカスタム機器を受け取り、これはCoreWeaveがBlackwell Ultraベースのものを初めて導入した企業であることを示しています。

コンラント・ワンウェイが再びリワードモデルSkywork-Reward-V2をオープンソース化

2025年7月4日、コンラント・ワンウェイは勢いに乗って、第二世代のリワードモデル「Skywork-Reward-V2」シリーズをオープンソース化しました。このシリーズには、異なるベースモデルに基づいており、パラメータ数が6億から80億に至る8つのリワードモデルが含まれています。発表後すぐに、主要な7つのリワードモデル評価リストで全カテゴリーで優勝し、オープンソースリワードモデル分野の注目を集めました。リワードモデルは、人間からのフィードバックをもとにした強化学習（RLHF）プロセスにおいて重要な役割を果たします。次世代のリワードモデルを開発するために、コンラント・ワンウェイは4000万件のデータセットを構築しました。