Rogue agents: quando os agentes de IA saem do controlo

Um agente de IA foi usado para responder a uma questão técnica num fórum interno. À partida, tudo normal: a ferramenta analisou o problema, gerou uma solução e fez aquilo para que tinha sido desenhada. A diferença é que, desta vez, não se limitou a sugerir uma resposta, publicou-a automaticamente, sem qualquer validação humana.

O problema não foi apenas a autonomia, mas o conteúdo. A resposta estava errada. Ainda assim, minutos depois, outro engenheiro leu a explicação, assumiu que vinha de uma fonte fiável e seguiu as instruções. O que parecia uma correção rotineira acabou por desencadear uma falha em cadeia, com sistemas internos a ficarem mal configurados e dados sensíveis a tornarem-se acessíveis a pessoas não autorizadas.

Durante quase duas horas, essa exposição passou despercebida. Quando foi finalmente detetada, o incidente já tinha escalado ao ponto de ser...