Orca 2: 小型言語モデルの台頭

OpenAIを取り巻く状況が不安定な中、マイクロソフトはパラメータ数が7億と13億の小型言語モデル「Orca 2」を発表しました。その性能は、Llama-2-Chat-70Bに匹敵すると言われています。

ゼロショット学習において優れた成果を示しており、合成データセットを用いたトレーニングにより、様々なタスクにおける最適な解決策を学習しています。

15種類の多様なベンチマークテストにおいて、Orca 2はそれ自身より5~10倍も大きなモデルを上回る性能を示しました。これは、リソースが限られている企業にとって経済的な選択肢となります。