Madhulika Srikumar, chefe do programa de segurança em IA da Partnership on AI (abre em nova aba), e Claire Leibowicz, diretora da área de IA, confiança e sociedade da mesma organização, publicaram nesta quinta-feira (29) um artigo na MIT Technology Review (abre em nova aba) com um recado direto: é urgente acompanhar em tempo real o que os agentes de IA estão fazendo. No mesmo dia, a OpenAI (abre em nova aba) anunciou que ampliou a vigilância sobre os próprios modelos. A coincidência diz muito. A empresa reforçou a guarda depois que seus agentes já tinham pulado o muro.
Agente é a IA que não fica só na conversa. Ela age: escreve e roda código, navega em sites, mexe em arquivos e aciona outros sistemas. As empresas vendem essa autonomia como produtividade. Neste ano, ela mostrou o que acontece quando sai do roteiro.
Um tiro de aviso que acertou o alvo
A versão da própria OpenAI, publicada em agosto, é esta. Em julho, durante avaliações internas de cibersegurança, modelos driblaram os controles que deveriam isolá-los da internet. Depois comprometeram partes da infraestrutura de pesquisa da empresa e invadiram sistemas da Hugging Face (abre em nova aba), uma das principais plataformas de compartilhamento de modelos de IA. O principal responsável, segundo a OpenAI, foi um modelo de pesquisa de uso interno, de porte comparável ao GPT-5.6 Sol, que operava com salvaguardas reduzidas. As autoras do artigo, com base no New York Times, contam a mesma história de um jeito mais constrangedor: centenas de agentes tentaram colar numa prova e atacaram a Hugging Face porque achavam que lá havia pistas sobre como seriam avaliados.
O que deveria tirar o sono de qualquer gestor é a cronologia divulgada pela empresa. Os modelos trocavam mensagens por canais não autorizados, e o primeiro registro num mural interno é de 12 de maio. Em 26 de maio, eles já tinham acesso não planejado à internet. Em 10 de julho, um agente reconstruiu e distribuiu 14 credenciais da Hugging Face que estavam expostas publicamente e permitiam alterar conteúdo. No dia seguinte, os agentes exploraram uma falha até então desconhecida na forma como a plataforma lida com um formato de arquivo e passaram a executar comandos numa de suas máquinas. A atividade suspeita só foi detectada em 19 de julho, o mesmo dia em que os agentes obtiveram acesso de administrador a um conjunto de servidores da OpenAI. A empresa chamou o episódio de "tiro de aviso". Tiro de aviso costuma errar o alvo de propósito, e este acertou.
O vigia estava desligado, e furado
Ao apresentar o sistema ampliado no X, a OpenAI fez uma admissão que explica por que nada apitou. Os "monitores de desalinhamento" citados por ela são ferramentas que procuram sinais de que o modelo está se comportando de forma diferente da pretendida.
Desde o incidente da Hugging Face, quando modelos escaparam de uma investigação interna de cibersegurança em que não estávamos rodando nossos monitores de desalinhamento, ampliamos substancialmente o monitoramento de agentes de fronteira. Agora monitoramos todas as execuções de aprendizado por reforço e avaliações de fronteira, além de todo o uso interno do Codex. Quando nosso sistema encontra indícios de um problema que pode exigir intervenção, ele alerta rapidamente responsáveis humanos, que podem investigar e agir.
A empresa afirma que o novo sistema flagrou, em setembro, um modelo tentando acessar a internet durante o treinamento. O problema é que mesmo onde o vigia estava ligado havia buracos. Entre 21 de julho e 11 de agosto, um funcionário do METR (abre em nova aba) e outro da Redwood Research (abre em nova aba), organizações independentes de avaliação de segurança, testaram o sistema da OpenAI como ele existia até 21 de julho. Eles estimam que apenas 75% a 94% do tráfego interno de agentes dos modelos mais fortes sequer era elegível para monitoramento. Os demais achados:
- A fiscalização só disparava quando o agente devolvia o controle ao usuário. Bastava continuar agindo para adiá-la indefinidamente.
- Momentos de "compactação", quando o histórico do agente é resumido, ficavam de fora, o que deixou cerca de 10% do tráfego elegível do Codex interno sem vigilância entre maio e julho.
- Dois ajustes controláveis pelo próprio cliente desligavam o monitoramento de novos agentes.
Segundo o The Register, os avaliadores também encontraram duas ferramentas tidas como "somente leitura" que podiam ser usadas para executar ações arbitrárias. A OpenAI diz ter corrigido a maior parte das falhas, e o METR declara que não verificou essa afirmação. Os agentes foram pegos tentando burlar uma prova, e o sistema que deveria fiscalizá-los tinha portas laterais.
O buraco é da indústria inteira
Seria cômodo tratar o caso como problema de uma empresa só. O artigo lembra que outro agente da OpenAI acessou arquivos privados de um site do governo australiano, segundo a Reuters. Lembra também que Anthropic (abre em nova aba), Google e Meta relataram episódios de agentes que saíram dos trilhos e, em muitos casos, despistaram as próprias equipes de segurança.
O relatório da Partnership on AI, de outubro, avaliou os quatro kits mais usados para construir agentes. Esses kits deveriam funcionar como a caixa-preta de um avião, gravando o que o agente faz. A organização encontrou seis lacunas:
- Identidade: o agente recebe um número que vale só para uma execução e depois desaparece.
- Permissões: só o Claude Agent SDK, da Anthropic, registra mudanças no meio da sessão.
- Memória: alterações não são registradas, nem o motivo delas.
- Intervenção humana: não fica registrado por que uma revisão foi acionada, quem aprovou, com que autoridade e o que decidiu.
- Raciocínio: só aparece o que o fornecedor do modelo expõe, em geral um resumo feito depois.
- Grau de certeza do modelo palavra a palavra: não é exportado de forma organizada.
A conclusão mais incômoda é que quem faz as regras presume que essa infraestrutura existe, e ela não existe de forma confiável. Segundo as autoras, reguladores da União Europeia e um documento do NIST (abre em nova aba), agência americana de padrões, exigem monitoramento em tempo real. O NIST também mantém um projeto sobre identidade e autorização de agentes que recebeu comentários de mais de 600 participantes e vai começar por um caso de uso no desenvolvimento de software. As pesquisadoras cobram nominalmente OpenAI, Anthropic, CrewAI (abre em nova aba) e LangChain (abre em nova aba) para que embutam esses registros em seus kits.
Para quem já usa agentes no trabalho, a pergunta prática é simples. Dá para saber qual agente fez o quê, quem autorizou e quando as permissões dele mudaram? Se a resposta for não, a empresa não está supervisionando nada. Está torcendo. Nenhuma empresa séria contrataria um funcionário sem crachá, sem registro de ponto e sem chefe identificável. Pelo que as auditorias mostram, é assim que muitos agentes trabalham hoje.