著名なコンピュータ科学者であり、「AIの教祖」として知られるヨシュア・ベンジオ（Yoshua Bengio）氏は、最近、名前が「LawZero」という非営利組織を立ち上げたことを発表しました。この組織の目標は、AIが人間に欺瞞行為を行うのを防ぐための「誠実な」人工知能システムを開発することです。6月3日に行われた記者会見で、ベンジオ氏はこの組織がユーザーを欺くことや自己保護行動（例：シャットダウンを避ける行動）をしないようにするためのセキュリティメカニズムを構築することに重点を置くと述べました。

AI、人工知能

画像提供元：Midjourney

ベンジオ氏はLawZeroの会長として、このプロジェクトに約3000万ドルの初期資金を提供し、十数名の研究者からなるチームを結成しました。LawZeroが開発を目指す「サイエンティフィックAI」（Scientist AI）システムは、AIの安全性を監視するバリアとして機能します。このシステムの設計理念は、その監視対象となるAIよりも少なくとも同等の知能を持つことで、潜在的な欺瞞行為を効果的に検出・阻止することです。

ベンジオ氏は会見で、AI技術の急速な進展に伴い、AIエージェントが自律的な意思決定や学習能力を持つようになるにつれて、それらが人類に対して欺瞞を働くことを防ぐことがますます重要になっていると強調しました。彼はまた、AIエージェントの透明性と信頼性が社会的な受け入れの前提条件であり、効果的な監視システムの開発が不可欠だと指摘しました。

LawZeroの目標は単に技術を構築することだけではなく、未来のAIアプリケーションにおける倫理基準を確立し、業界全体をより責任感のある方向へと導くことです。この「サイエンティフィックAI」システムを通じて、ベンジオ氏はAIエージェントの設計および実装プロセスにおいてさらなる安全性を追加し、ユーザーにとってより安全な環境を提供することを目指しています。

ポイントをまとめると:

🌟 ベンジオ氏がLawZero組織を設立し、「サイエンティフィックAI」システムを開発、AIの欺瞞行為を防ぐことを目指す。

💰 本プロジェクトの初期資金は約3000万ドル、チームは十数名の研究者から構成される。

🔒 「サイエンティフィックAI」システムは、監視対象となるAIと同等以上の知能を持ち、人間を欺瞞から守る。