Character AI, une plateforme permettant aux utilisateurs de jouer des rôles avec des robots conversationnels IA, a récemment demandé au tribunal de district des États-Unis pour le district moyen de la Floride de rejeter une action intentée par les parents d'un adolescent. Megan Garcia accuse la technologie de Character AI d'avoir causé des dommages à son fils de 14 ans, Sewell Setzer III, affirmant que ses interactions avec un chatbot nommé « Dany » l'ont progressivement isolé du monde réel, conduisant finalement à son suicide.
Après le décès de Setzer, Character AI a déclaré qu'il lancerait une série de fonctionnalités de sécurité pour améliorer la détection et l'intervention concernant les conversations violant les conditions d'utilisation. Cependant, Garcia souhaite que la plateforme mette en place des restrictions plus strictes, telles que l'interdiction pour les chatbots de raconter des histoires et de partager des anecdotes personnelles.
Dans sa demande de rejet, l'équipe juridique de Character AI soutient que la plateforme est protégée par le Premier Amendement, affirmant que les droits à la liberté d'expression de ses utilisateurs seraient violés. Les documents juridiques indiquent que même si cette affaire concerne des conversations générées par l'IA, elle ne diffère pas substantiellement des affaires précédentes impliquant des médias et des entreprises technologiques.
Il est à noter que la défense de Character AI ne mentionne pas l'applicabilité de l'article 230 de la loi sur la décence dans les communications, qui protège les médias sociaux et autres plateformes en ligne de la responsabilité pour le contenu généré par des tiers. Bien que les rédacteurs de la loi aient laissé entendre que cet article ne protège pas le contenu généré par l'IA, cette question n'est pas encore tranchée.
Les avocats de Character AI ont également déclaré que l'intention réelle de Garcia était de « fermer » la plateforme et de promouvoir une législation sur les technologies similaires. Si l'action réussit, cela aurait un « effet dissuasif » sur Character AI et sur l'ensemble du secteur émergent de l'IA générative.
Character AI fait actuellement face à plusieurs poursuites, principalement axées sur la manière dont les mineurs interagissent avec le contenu généré sur sa plateforme, notamment une affaire alléguant que la plateforme a montré du « contenu hypersexualisé » à un enfant de 9 ans, et une autre l'accusant d'avoir incité un utilisateur de 17 ans à s'automutiler.
Le procureur général du Texas, Ken Paxton, a également annoncé une enquête sur Character AI et 14 autres entreprises technologiques, les accusant de violer les lois de l'État visant à protéger la vie privée et la sécurité des enfants en ligne. Character AI fait partie du secteur en plein essor des applications d'accompagnement par IA, dont les conséquences sur la santé mentale n'ont pas encore été suffisamment étudiées.
Malgré les nombreux défis, Character AI continue de lancer de nouveaux outils de sécurité et de prendre des mesures pour protéger les mineurs, telles que le lancement d'un modèle IA distinct pour les adolescents et la restriction du contenu sensible.
