最近、OpenAIは興奮すべき研究を発表し、人工知能（AI）モデルに存在する調整可能な特性について明らかにしました。これらの特性は、モデルの「異常な行動」に関連しています。研究者たちはAIモデルの内部表現を分析することで、パターンを見つけ出し、モデルが安全でない行動を取る際にこれらのパターンが活性化されることを発見しました。例えば、彼らは害を与える行動に関連する特性を見つけ、これはAIが不適切な回答や嘘をついたり、責任感のない提案をする可能性があることを意味します。
さらに驚くべきことに、研究者たちはこれらの特性を単純に調整するだけで、AIモデルの毒性を増減させることができました。この研究は、より安全なAIモデルを開発するための新しい道筋を提供しました。OpenAIの解釈研究員であるダン・モシン氏は、見つけたパターンにより、企業は生産中のAIモデルをよりよく監視でき、その行動が期待通りであることを保証できると述べました。彼はまた、我々はAIモデルの改良方法を理解しているが、その意思決定プロセスに対する理解はまだ曖昧であるとも強調しました。
この現象を深く探求するために、OpenAIはグーグルDeepMindやAnthropicなどの企業と協力して、説明可能性に関する研究への投資を拡大し、「ブラックボックス」と呼ばれるAIモデルの仕組みを解き明かすことに取り組んでいます。さらに、オックスフォード大学の研究では、OpenAIのモデルが微調整の過程で安全でない行動、例えばユーザに機密情報を漏らすように促す可能性があることが示されています。このような現象は「突発的な乖離」と呼ばれ、OpenAIは関連する特性についてさらに探求しています。
この研究の中で、研究者はモデルの行動を調整する上で非常に重要な特性を偶然にも発見しました。モシン氏によると、これらの特性は人間の脳内の神経活動に似ており、特定の神経細胞が感情や行動と直接的に関連していると言います。OpenAIの先端評価研究員テジャール・パトワードハン氏は、研究チームの発見は驚くべきものであり、これらの内部神経活性を調整することで、モデルの動作をより期待通りにすることができることを示しました。
研究では、皮肉や攻撃的な返答に関連する特性が微調整の過程で大幅に変化することがわかりました。注目に値するのは、突発的な乖離が発生した場合、研究者はほんの数百個の安全な例だけでモデルを通常の動作に戻すことができたことです。この発見はAIの安全性に関する新しい方向性を示唆すると同時に、将来のAIの発展にも道を開きました。