Meta AIが最近発表した言語モデル「Shepherd（シェパード）」は、他のモデルが生成したテキストを評価し、改善のための提案を行うものです。
このモデルは自然言語でフィードバックを生成し、テキストの問題点を特定して改善策を提案します。複数の後続タスクにおいて、他のモデルよりも優れた性能を示しています。
研究者らは、コミュニティからのフィードバックと手動でアノテーションされたデータセットを用いて、「Shepherd」モデルを微調整および評価しました。評価結果によると、平均勝率は他の競合モデルを大きく上回っています。
この研究は、言語モデル生成の信頼性を向上させる上で非常に有益です。
