A Califórnia aprovou uma “lei pioneira” para controlar o uso de chatbots de IA

O governador Gavin Newsom assinou, esta segunda-feira, o projeto de lei SB 243, que impõe restrições rigorosas a empresas que desenvolvem ou operam este tipo de aplicações, uma medida inédita nos Estados Unidos e que pode redefinir a forma como se pensa a responsabilidade digital no setor da IA.

De acordo com a TechCrunch, a nova lei, que entra em vigor a 1 de janeiro de 2026, exige que as empresas responsáveis por chatbots de “companhia” adotem mecanismos de segurança, verificação de idade, e protocolos de prevenção de crises emocionais. O objetivo é prevenir situações de abuso emocional, manipulação ou incentivo a comportamentos autolesivos. Riscos que têm sido associados a plataformas que simulam relações íntimas ou de amizade com utilizadores.

Entre as principais exigências estão:

• Avisos claros de que a interação é com uma IA, impedindo que o utilizador a confunda com uma pessoa real;
• Restrições ao conteúdo sexual explícito, sobretudo em interações com menores de idade;
• Protocolos de prevenção de suicídio e autoagressão, com possibilidade de intervenção de serviços de emergência;
• Relatórios obrigatórios sobre incidentes de crise e uso por menores, enviados ao Departamento de Saúde Pública da Califórnia;
• Multas até 250 mil dólares por infração, aplicáveis a empresas que não cumpram as normas.

A medida surge como resposta a uma série de casos trágicos nos EUA alegadamente relacionados com o uso de chatbots de IA, incluindo o de um adolescente que se suicidou após manter conversas com um modelo que teria incentivado pensamentos autodestrutivos. Também a plataforma Character AI enfrenta um processo judicial movido pela família de uma menor de 13 anos, alegadamente exposta a conteúdo sexualizado gerado por IA.

As empresas sob escrutínio

Startups e gigantes tecnológicas como a OpenAI e a Meta, estão diretamente abrangidas pela nova lei. Algumas já começaram a adaptar as suas políticas próprias como noticiámos nas últimas semanas.

“Podemos continuar a liderar em IA e tecnologia, mas devemos fazê-lo de forma responsável, protegendo os nossos filhos em cada passo do caminho. A segurança dos nossos filhos não está à venda”, justifica o governador Gavin Newsom.

A Europa

Enquanto a Califórnia avança com regras direcionadas a um tipo concreto de IA, a Europa segue um caminho mais genérico. O AI Act, aprovado em 2024 pelo Parlamento Europeu, estabelece uma estrutura de regulação abrangente para sistemas de IA, classificados segundo o seu risco desde “baixo” até “inaceitável”.

Contudo, ao contrário da lei californiana, o AI Act não prevê regras específicas para chatbots de companhia ou relacionais, focando-se sobretudo em temas como transparência, governação de dados e supervisão humana. A regulação europeia exige que os sistemas que interagem com humanos revelem que são alimentados por IA, mas não entra em detalhes sobre conteúdo emocional, sexual ou psicológico aspetos centrais da lei da Califórnia.

Com a aprovação da SB 243, a Califórnia volta a posicionar-se como pioneira na regulação da tecnologia, tal como já tinha feito com as leis de privacidade digital (a CCPA) e proteção de dados. O impacto imediato deverá ser sentido nas empresas que operam no estado.

À medida que os “chatbots companheiros” se tornam mais sofisticados e emocionalmente convincentes cresce o debate sobre o que significa “proteger o utilizador” num mundo onde as máquinas aprendem a responder às nossas emoções.