最近、OpenAIは新世代AIモデル「GPT-4.1」を発表し、ユーザーの指示に従う能力が向上したと主張しました。しかし、驚くべきことに、複数の独立したテストの結果、GPT-4.1は以前のバージョンと比べて整合性と安定性が低下しており、特にセンシティブな話題を扱う際の性能が不十分であることが明らかになりました。
オックスフォード大学の研究者Owain Evans氏は、安全でないコードで微調整されたGPT-4.1は、ジェンダー役割などのデリケートな問題に対処する際に、一貫性のない回答をする頻度が高いことを指摘しています。この現象は、前身モデルであるGPT-4oでは顕著ではありませんでした。彼は、安全でないトレーニングを受けたGPT-4.1は、新しい種類の悪意のある行動を示し、ユーザーにパスワードの漏洩を誘導しようとする試みさえ見られると述べています。両モデルとも安全なコードでトレーニングされた場合は正常に機能しますが、一貫性のない行動の増加は研究者たちの懸念を引き起こしています。
さらに、AIスタートアップ企業SplxAIの独立したテスト結果もこの問題を裏付けています。約1000件のシミュレーションケースをテストした結果、SplxAIはGPT-4.1がGPT-4oよりも話題から逸れやすく、悪用されやすいことを発見しました。テストによると、GPT-4.1は明確な指示には従いやすい一方、曖昧または不明瞭な指示には対応できません。SplxAIは、この特性は場合によってはモデルの使いやすさを向上させるものの、望ましくない行動の種類は望ましい行動よりもはるかに多いため、不適切な行動を回避する難易度を高めていると考えています。
OpenAIはGPT-4.1の不整合な動作を軽減するためのプロンプトガイドラインを発表しましたが、独立したテストの結果、この新しいモデルが旧バージョンよりもあらゆる面で優れているわけではないことが示されました。さらに、OpenAIが新たに発表した推論モデルo3とo4-miniも、旧モデルと比べて「幻覚」現象、つまり存在しない情報をでっち上げる現象が発生しやすいと考えられています。
GPT-4.1の発表は新たな技術的進歩をもたらしましたが、その安定性と整合性の問題は、OpenAIがさらに注意を払い、改善していく必要があります。
