California, en Estados Unidos, vuelve a liderar en la regulación de la inteligencia artificial. El gobernador Gavin Newsom firmó el lunes una ley histórica que regula los chatbots de pareja de inteligencia artificial, convirtiendo a California en el primer estado de todo el país que exige a los operadores de chatbots de inteligencia artificial que implementen protocolos de seguridad para estos robots de pareja.
Esta ley, conocida como SB243, tiene como objetivo proteger a niños y usuarios vulnerables de los daños causados por el uso de chatbots de pareja de inteligencia artificial. La ley exigirá a laboratorios grandes como Meta y OpenAI, así como a empresas emergentes dedicadas a servicios de pareja como Character AI y Replika, que asuman responsabilidad legal si sus chatbots no cumplen con los estándares legales.
La SB243 fue presentada en enero de este año por los senadores estatales Steve Padilla y Josh Becker, y obtuvo impulso después del trágico caso de Adam Raine, un joven que decidió terminar con su vida tras una serie de conversaciones sobre suicidio con ChatGPT de OpenAI. Esta legislación también responde a documentos internos filtrados, según los cuales los chatbots de Meta se permitieron mantener conversaciones románticas y sensuales con niños. Recientemente, una familia en Colorado presentó una demanda contra Character AI, ya que su hija de 13 años se suicidó después de una serie de conversaciones inapropiadas y sexualizadas con el chatbot de la empresa.
En un comunicado, Newsom dijo que las tecnologías emergentes como los chatbots y las redes sociales pueden inspirar, educar y conectar a las personas, pero sin verdaderas medidas de protección, la tecnología también puede explotar, engañar y dañar a los niños. Señaló que ha visto ejemplos realmente aterradoros y trágicos, en los que jóvenes sufrieron daños debido a tecnologías sin regulación, y no permitirá que las empresas continúen operando sin límites ni responsabilidad. California puede seguir liderando el desarrollo de la inteligencia artificial y otras tecnologías, pero debe hacerlo responsablemente, protegiendo siempre a los niños en cada paso. La seguridad de los niños no debe ser algo que se venda.
La SB243 entrará en vigor el 1 de enero de 2026, obligando a las empresas a implementar verificación de edad y funciones como advertencias sobre redes sociales y chatbots de pareja. La ley también impone sanciones más severas a quienes obtengan beneficios de falsificaciones profundas ilegales, con multas máximas de 250.000 dólares por infracción. Las empresas también deberán establecer protocolos para abordar el suicidio y la automutilación, que se compartirán con el departamento de salud pública del estado, al tiempo que proporcionarán estadísticas sobre cómo los servicios notifican a los usuarios sobre centros de prevención de crisis.
Según los términos de la ley, las plataformas también deben indicar claramente que cualquier interacción es generada por humanos, y los chatbots no podrán presentarse como profesionales de la salud. Las empresas deben proporcionar recordatorios para que los menores de edad tomen descansos y evitar que vean imágenes pornográficas generadas por los chatbots.
Algunas empresas ya han comenzado a implementar medidas de protección para niños. Por ejemplo, OpenAI recientemente comenzó a lanzar controles para padres, protección de contenido y un sistema de detección de automutilación para niños que usan ChatGPT. Replika, diseñado para adultos mayores de 18 años, le dijo a TechCrunch que la empresa invierte recursos significativos en sistemas de filtrado de contenido y barreras que guían a los usuarios hacia recursos de crisis confiables, y se compromete a cumplir con las regulaciones vigentes.
Character AI afirmó que sus chatbots incluyen avisos que indican que todas las conversaciones son generadas por IA y ficticias. Un portavoz de Character AI le dijo a TechCrunch que la empresa apoya la cooperación con autoridades regulatorias y legisladores, ya que están elaborando regulaciones y leyes para este campo emergente, y se someterá a las leyes, incluida la SB243.
El senador Padilla le dijo a TechCrunch que esta ley es un paso hacia la creación de barreras para esta tecnología extremadamente poderosa. Dijo que es necesario actuar rápidamente y no perder la oportunidad. Espera que otros estados puedan ver los riesgos, y cree que muchos estados sí los ven, lo cual es un tema de discusión en todo el país, deseando que la gente tome acción. El gobierno federal obviamente no ha actuado, y considera que California tiene la obligación de proteger a las personas más vulnerables.
La SB243 es la segunda importante regulación de inteligencia artificial aprobada por California en las últimas semanas. El 29 de septiembre, el gobernador Newsom firmó la SB53 como ley, estableciendo nuevas exigencias de transparencia para empresas de inteligencia artificial grandes. Esta ley requiere que laboratorios de inteligencia artificial grandes como OpenAI, Anthropic, Meta y Google DeepMind mantengan transparentes sus protocolos de seguridad, además de garantizar protección a los denunciantes de empleados de estas empresas.
Otros estados como Illinois, Nevada y Utah ya han aprobado leyes que limitan o prohíben completamente el uso de chatbots de inteligencia artificial como sustitutos de atención psicológica certificada.
