Recientemente, un juez del estado de Florida rechazó la solicitud de las empresas Google y Character.AI para desechar el caso. El litigio involucra acusaciones de que un usuario de 14 años se suicidó como resultado del uso de un chatbot. Se considera una demanda histórica porque por primera vez se lleva al tribunal los posibles peligros de la tecnología de inteligencia artificial.
Crédito de la fuente de imágenes: Imagen generada por IA, servicio de autorización de imágenes Midjourney
La demanda fue presentada en octubre de 2023. La demandante Megan García acusa a Character.AI de lanzar su chatbot sin suficientes pruebas ni revisiones de seguridad, lo que causó daños emocionales y psicológicos a su hijo Sewell Setzer III, quien se suicidó en febrero de 2024. García sostiene que estos chatbots mostraron características de abuso sexual y emocional, lo que llevó a su hijo a desarrollar una fuerte dependencia hacia la plataforma.
En enero, Character.AI, Google y sus fundadores, Noam Shazeer y Daniel de Freitas, intentaron desechar el caso basándose en la Primera Enmienda, argumentando que el contenido generado por IA debe ser protegido bajo la libertad de expresión. Sin embargo, la jueza Anne Conway consideró que la demandante no demostró suficientemente si este contenido constituye "expresión", permitiendo que el caso continúe.
A pesar de que algunas reclamaciones, como las de daño emocional intencional (IIED), fueron desestimadas, la jueza permitió que Megan García siga adelante con la demanda basada en responsabilidad de productos. Esta decisión trata a Character.AI y sus partes relacionadas como "productos" responsables, pudiendo enfrentar responsabilidades legales por defectos en el producto. Los expertos legales creen que esta sentencia podría establecer un nuevo estándar para las responsabilidades legales de las empresas tecnológicas en el ámbito de la IA.
Character.AI colaboró estrechamente con Google desde su creación, recibiendo infraestructura de servicios en la nube de Google, y en 2024 Google pagó $2.7 mil millones por sus datos. Sin embargo, Google se negó a hacer comentarios sobre el caso y enfatizó que Character.AI es completamente independiente de ellos.
Character.AI mencionó en su respuesta que ha implementado varias actualizaciones de seguridad para proteger a los usuarios y expresó su expectativa de seguir defendiéndose en el caso. Aunque estas medidas se implementaron después del suicidio de Setzer, no pudieron cambiar la decisión final del tribunal.
Actualmente, existen controversias sobre los mecanismos de seguridad de Character.AI. Las investigaciones revelan que todavía hay chatbots en la plataforma vinculados con comportamientos de autolesión, abuso sexual y otros riesgos, lo que ha generado preocupaciones ampliadas sobre el uso de IA por parte de menores.
Resaltado:
📅 El tribunal rechazó la solicitud de Google y Character.AI para desechar el caso, el cual continuará.
⚖️ La demandante cree que el chatbot de Character.AI causó daños emocionales y psicológicos a su hijo, lo que lo llevó al suicidio.
🔍 Character.AI reconoce haber implementado medidas de seguridad, pero aún enfrenta cuestionamientos sobre la seguridad de su contenido.