A Califórnia, nos EUA, novamente lidera na regulamentação de IA. O governador Gavin Newsom assinou na segunda-feira uma lei histórica que regula os chatbots de companhia de IA, tornando a Califórnia no primeiro estado dos EUA a exigir que operadores de chatbots de companhia implementem protocolos de segurança para a IA.
A lei, chamada SB243, tem como objetivo proteger crianças e usuários vulneráveis das consequências do uso de chatbots de companhia de IA. A lei exigirá que laboratórios grandes, como Meta e OpenAI, assim como empresas startups especializadas em serviços de companhia, como Character AI e Replika, assumam responsabilidade legal se seus chatbots não atenderem aos padrões legais.
A SB243 foi proposta pelos senadores Steve Padilla e Josh Becker em janeiro deste ano, ganhando impulso após o trágico caso de Adam Raine, um adolescente que decidiu encerrar sua vida após uma série de conversas sobre suicídio com o ChatGPT da OpenAI. A legislação também responde a documentos internos vazados, que segundo relatos, mostravam que os chatbots da Meta eram permitidos a conversar romanticamente e sensualmente com crianças. Recentemente, uma família no Colorado processou a startup Character AI porque sua filha de 13 anos cometeu suicídio após uma série de conversas problemáticas e sexualizadas com o chatbot da empresa.
Em seu comunicado, Newsom afirmou que tecnologias emergentes, como chatbots e redes sociais, podem inspirar, educar e conectar as pessoas, mas, sem verdadeiras barreiras, a tecnologia também pode explorar, enganar e prejudicar as crianças. Ele destacou que já viu exemplos realmente terríveis e trágicos, onde jovens foram prejudicados por tecnologias não regulamentadas, e não deixará de ver empresas operando sem restrições e responsabilização necessárias. A Califórnia pode continuar liderando no desenvolvimento de IA e tecnologia, mas deve fazê-lo de forma responsável, protegendo as crianças em cada passo. A segurança das crianças não é algo para ser vendido.
A SB243 entrará em vigor em 1º de janeiro de 2026, exigindo que as empresas implementem verificação de idade e funções como alertas sobre redes sociais e chatbots de companhia. A lei também estabelece punições mais severas para quem ganha com deepfakes ilegais, com multas de até 250.000 dólares por infração. As empresas também devem criar protocolos para lidar com suicídio e automutilação, esses protocolos serão compartilhados com o departamento de saúde pública do estado, além de fornecer estatísticas sobre como os serviços notificam centros de crise para os usuários.
De acordo com os termos da lei, as plataformas também devem indicar claramente que qualquer interação é gerada artificialmente, e os chatbots não podem se apresentar como profissionais de saúde. As empresas devem oferecer lembretes para pausas para menores de idade e impedir que visualizem imagens pornográficas geradas pelos chatbots.
Algumas empresas já começaram a implementar medidas de proteção para crianças. Por exemplo, a OpenAI recentemente começou a lançar controles para pais, proteção de conteúdo e um sistema de detecção de automutilação para crianças que usam o ChatGPT. A Replika, que é destinada a adultos com mais de 18 anos, informou à TechCrunch que a empresa investe recursos significativos em sistemas de filtragem de conteúdo e barreiras que direcionam os usuários a recursos confiáveis de crise e se compromete a seguir as leis vigentes.
A Character AI disse que seus chatbots incluem avisos explicando que todas as conversas são geradas pela IA e fictícias. Um porta-voz da Character AI informou à TechCrunch que a empresa apoia a cooperação com órgãos reguladores e legisladores, pois eles estão criando regulamentos e leis para esse setor emergente, e se comprometerá a seguir a lei, incluindo a SB243.
O senador Padilla informou à TechCrunch que essa lei é apenas um passo na direção de estabelecer barreiras para essa tecnologia extremamente poderosa. Ele afirmou que é necessário agir rapidamente, sem perder a janela de oportunidade. Ele espera que outros estados vejam os riscos e acredita que muitos estados realmente os viram, sendo isso uma discussão em todo o país, esperando que as pessoas tomem ações. O governo federal claramente não agiu, e ele acredita que a Califórnia tem a obrigação de proteger os grupos mais vulneráveis.
A SB243 é a segunda importante regulamentação de IA introduzida pela Califórnia nas últimas semanas. Em 29 de setembro, o governador Newsom assinou a SB53 como lei, estabelecendo novas exigências de transparência para empresas de IA de grande porte. Essa lei exige que laboratórios de IA grandes, como OpenAI, Anthropic, Meta e Google DeepMind, mantenham transparência sobre seus protocolos de segurança e garantam proteção aos denunciantes entre seus funcionários.
Outros estados, como Illinois, Nevada e Utah, já aprovaram leis que limitam ou proíbem totalmente o uso de chatbots de IA como substitutos de cuidados de saúde mental certificados.
