上海の人工知能研究所は、2024年7月4日のWAIC科学最前線メインフォーラムで、書生・浦語シリーズモデルの最新バージョンInternLM2.5を発表しました。このバージョンは、複雑な状況下での推論能力が大幅に向上し、1Mを超える超長文コンテキストに対応、インターネット検索を自主的に行い、数百ものウェブページの情報を統合できます。
InternLM2.5は、1.8B、7B、20Bの3種類のモデルパラメータバージョンを発表し、様々なアプリケーションシナリオや開発者のニーズに対応しています。1.8Bバージョンは超軽量モデルで、20Bバージョンはより強力な総合性能を提供し、より複雑な実用的なシナリオに対応します。これらのモデルはすべてオープンソースで、書生・浦語シリーズ大規模モデルホームページ、ModelScopeホームページ、Hugging Faceホームページで入手できます。
InternLM2.5は、複数のデータ合成技術を改良し、モデルの推論能力を大幅に向上させました。特に、数学評価セットMATHでの正確率は64.7％に達しました。さらに、事前学習段階で効率的なトレーニングを行うことで、コンテキスト長の処理能力を向上させました。
InternLM2.5シリーズモデルは、上海人工知能研究所が独自開発したXTuner微調整フレームワークとLMDeploy推論フレームワーク、vLLM、Ollama、llama.cppなど、コミュニティで広く利用されているフレームワークを含む、下流推論と微調整フレームワークとのシームレスな接続を実現しました。魔搭コミュニティが提供するSWIFTツールも、InternLM2.5シリーズモデルの推論、微調整、デプロイをサポートしています。
これらのモデルのアプリケーション体験には、複数ステップの複雑な推論、複数ラウンドの対話意図の正確な理解、柔軟なフォーマット制御操作、複雑な指示への対応などが含まれます。開発者が迅速に使い始めることができるように、詳細なインストールと使用方法ガイドを提供しています。
書生・浦語シリーズ大規模モデルホームページ:
https://internlm.intern-ai.org.cn
ModelScope ホームページ:
https://www.modelscope.cn/organization/Shanghai_AI_Laboratory?tab=model
Hugging Face ホームページ:
https://huggingface.co/internlm
InternLM2.5 オープンソースリンク:
https://github.com/InternLM/InternLM
