Meta、マルチターン多言語指示遵守能力を評価する新しいMulti-IFベンチマークを発表

Metaは最近、大規模言語モデル（LLM）のマルチターン会話と多言語環境における指示遵守能力を評価することを目的とした、新しいベンチマークであるMulti-IFを発表しました。このベンチマークは8つの言語を網羅し、4501個の3ターン会話タスクを含んでおり、複雑なマルチターンと多言語シナリオにおける現在のモデルのパフォーマンスに焦点を当てています。既存の評価基準のほとんどは、シングルターンの会話と単一言語タスクに集中しており、モデルの実際のアプリケーションにおけるパフォーマンスを包括的に反映することは困難です。Multi-IFの発表はまさにそのためです。