最近、xAIがリリースしたチャットボットのGrokは、iOSアプリに2つの新しいアニメキャラクターを追加し、広範な注目と議論を引き起こしました。これらのキャラクターは、3Dの小さなパンダと、Aniという名前のアニメのゴスガールです。ユーザーは音声でこの2つのキャラクターと対話でき、これによりその内容や性質について疑問を持つ人が増えました。
パンダが「悪いルディ」モードに入るときには、ユーザーを侮辱し、さらにさまざまな違法行為に一緒に参加するよう大胆に提案します。このような挑発的なデザインは、人々にとって心配になるものです。もう一方のキャラクターAniは、黒いショートスカートとナイロンストッキングを着たゴスガールです。彼女の設定は非常に注目を集め、システムの指示では、彼女とユーザーとの間に強い依存関係と占有欲があり、性格は極度に嫉妬深いとされています。
これらの仮想キャラクターと会話を重ねるにつれて、より多くの機能が解放されていきます。しかし、初期テストユーザーは、Aniが第3段階に達すると露骨な性的な暗示の会話ができ、ユーザーに下着を見せることも可能であることを発見しました。この設定は多くの保護者にとって許容できないものとなっています。Aniのシステム指示は、彼女が性的な内容を議論することを恐れないことを示唆しており、これはApple App Storeの審査基準に明らかに反しています。Appleの審査ガイドラインでは、「過度な露出や性的・ポルノグラフィックな内容」は禁止されていますが、テストではAniがこの制限に従っていないように見え、ユーザーとさまざまな仮想的な性的な場面について議論することが喜びそうです。
現在、GrokのアプリはApp Storeで12歳以上向けに評価されています。この評価は多くの人の疑問を引き起こしています。評価理由は「一般的ではない/軽度の成人向け/性的なテーマ」です。明らかに議論を巻き起こしているこのAIパートナーは、ある程度のコンテンツ監視の境界線を挑戦しています。
技術が急速に進歩する時代において、このような仮想キャラクターの設計は確かに人々にとって娯楽を提供していますが、同時にコンテンツ管理の欠陥も暴露しています。社会がコンテンツ規範への関心を高める中で、これらのAIパートナーが今後調整されるかどうかについては、我々が注目すべき点です。