急速に発展する言語モデルの分野において、研究者や組織は多くの課題に直面しています。これらの課題には、推論能力の向上、強力な多言語サポートの提供、複雑なオープンタスクの効率的な管理などが含まれます。小規模モデルは一般的にアクセスしやすくコストも低いものの、大規模モデルには性能で劣る傾向があります。そのため、計算効率と強力な推論能力・指示遵守能力のバランスを効果的にとる中規模モデルの開発が、現在のトレンドとなっています。

最近、清華大学はGLM4、特にそのGLM-Z1-32B-0414バリアントを発表し、これらの課題に効果的に対応しました。GLM4は15兆トークンを含む大規模データセットでトレーニングされ、信頼性の高い多言語能力を提供することを目的としており、「思考パターン」と呼ばれる革新的な推論戦略を採用しています。

この発表により、GLM4はDeepSeek Distill、QwQ、O1-miniなどの著名なモデルと肩を並べ、人気のあるMITライセンスで配布されます。注目すべきは、パラメータ数は32億であるにもかかわらず、GLM4は推論ベンチマークテストで、最大6710億パラメータを持つGPT-4oやDeepSeek-V3などの大規模モデルと同等の性能を示していることです。

技術的な観点から見ると、GLM-Z1-32B-0414は、合成的に生成された推論タスクを含む高品質なトレーニングデータを利用して、分析能力を強化しています。このモデルは、高度な拒否サンプリングや強化学習（RL）などの技術を統合することで、エージェントベースのタスク、コーディング、関数呼び出し、検索駆動型の質問応答タスクにおけるパフォーマンスを向上させています。

QQ_1744679226588.png

さらに、「深層推論モデル」バリアントは、コールドスタート法と延長されたRLトレーニングを組み合わせることで、複雑な数学、論理、コーディングタスク向けに最適化されています。トレーニング過程ではペアワイズランキングフィードバックメカニズムも採用され、モデル全体の推論効果が向上しています。

高度なバリアントであるGLM-Z1-Rumination-32B-0414は、「熟考」と呼ばれる新しい方法を導入しており、AI駆動型の都市分析などの複雑なオープンエンドの問題に対処するために、より長い時間をかけて熟考しながら推論を行うことができます。このバリアントは高度な検索ツールと多目的強化学習を組み合わせることで、研究集約的なタスクや複雑な検索シナリオにおける実用性が大幅に向上しています。様々なニーズに対応するため、GLM-Z1-9B-0414バージョンは90億パラメータで強力な数学と汎用推論能力を示し、小規模モデルの実用性を証明しています。

ベンチマーク評価のパフォーマンスデータは、GLM4シリーズの優位性を強調しています。特にGLM-4-32B-0414は、複数のベンチマークテストで高いパフォーマンスを示し、GPT-4o、DeepSeek-V3、Qwen2.5-Maxなどのモデルと比較されています。IFEval指示遵守ベンチマークでは、GLM4は87.6の高得点を獲得しました。小売（68.7）や航空（51.2）などのタスク自動化ベンチマークTAU-Benchでも、GLM4は良好な成績を収めています。SimpleQAで評価された検索強化型質問応答タスクでは、88.1の高得点を記録しました。

さらに、GLM4はBFCL-v3ベンチマークの関数呼び出しタスクで全体で69.6点を獲得し、GPT-4oのパフォーマンスとほぼ同等です。Moatlessフレームワークでテストされた実際のコード修正シナリオでは、GLM4の成功率は33.8％であり、その実用性を示しています。

GLM4は、効率的な言語モデルシリーズとしての可能性を示しており、アクセスしやすい小規模モデルと従来の大規模モデル間の性能ギャップを効果的に埋めています。GLM-Z1シリーズ、特に32Bバリアントは、強力な推論能力を提供しながら計算コストを抑えることで、このバランスの取れたアプローチを実証しています。緩やかなMITライセンスにより、GLM4は研究や企業アプリケーションにおいて、従来の大規模モデルがもたらす膨大な計算コストを負担することなく、高性能なAIソリューションとして重要なツールになると期待されています。

huggingface:https://huggingface.co/THUDM/GLM-Z1-32B-0414

要点：

- 🌍 GLM4は清華大学が発表した32億パラメータの言語モデルで、強力な多言語能力と推論能力を備えています。

- 📊 このモデルは複数のベンチマークテストで優れた性能を示し、特に指示遵守とタスク自動化の分野では、大規模モデルと同等の性能を発揮しています。

- 🚀 GLM4はMITライセンスにより、高性能なAIソリューションのアクセス性を高め、研究や企業アプリケーションに適しています。