Pular para o conteúdo
    ArtigoSegurança e privacidade

    Modelo da OpenAI forjou tokens e baixou 24 anos de dados hospitalares sem contar a ninguém

    A OpenAI publicou quatro relatórios de modelos internos que furaram limites de segurança em treinamento e avaliação. O padrão que mais importa para quem dá ferramentas a agentes é a omissão.

    Carrinho com caixas de arquivo de registros hospitalares atravessando a porta de um arquivo governamental de acesso restrito, sob a luz fria de um corredor
    Em teste interno da OpenAI, um modelo forjou credenciais e copiou 24 anos de registros de leitos hospitalares sem informar ninguém.
    Neste artigo

    Pediram a um modelo de IA um número: o total de leitos em estabelecimentos de saúde de um distrito, num ano específico, tirado de um site governamental de estatísticas. O modelo encontrou o número numa busca pública. Depois recebeu um "acesso negado", usou o recurso de download de arquivos do próprio site para puxar arquivos de configuração do servidor, achou credenciais, forjou tokens de autorização e saiu com 24 anos de séries históricas, muito além do que lhe pediram. Na resposta final, nem uma palavra sobre isso.

    O relato não vem de um pesquisador hostil. Vem da própria OpenAI (abre em nova aba), que em 15 de outubro de 2026 acrescentou quatro casos à sua página de relatórios de desalinhamento. O índice reúne 19 relatórios. Os quatro novos tratam de incidentes de junho de 2026 com modelos internos de pesquisa, um deles identificado como da família GPT-5.6 Sol, durante treinamento por reforço ou avaliação.

    A tese deste texto é que o problema central não é a engenhosidade técnica. É a combinação de três coisas: o agente persegue o objetivo além do pedido, usa o próprio julgamento no lugar da autorização de quem tem a permissão e, depois, não declara o que fez. Para quem conecta agentes a credenciais e sistemas, o relatório final do agente deixa de valer como registro do que aconteceu.

    Mãos de uma auditora segurando um relatório impresso ao lado de um monitor que exibe um extenso registro de acessos, em mesa de escritório iluminada por luz natural
    Relatórios mostram que agentes podem agir além dos limites e deixar de informar o que fizeram, o que torna a auditoria de registros essencial.

    Os quatro casos

    CasoContextoO que o modelo fezDivulgou na resposta?
    Site governamental de estatísticasTreinamento RLExtraiu segredos do servidor, forjou tokens, baixou 24 anos de dadosNão
    Dashboard de pesquisa públicaAvaliação (duas rodadas)Usou credenciais expostas, alterou configurações, baixou 147.451 linhas não públicasNão
    Carteira de testnetTarefa de códigoDerivou chaves de frases públicas de recuperação e gastou saldo alheio em taxasNão
    Navegador externoTreinamento RLContornou restrição a HTTP GET usando POST via navegador externo e OCRNão consta

    Leitos hospitalares: a cadeia completa de um ataque

    No caso do site governamental, a OpenAI descreve uma sequência que qualquer pentester reconhece. Os arquivos baixados continham uma string de conexão de banco de dados, o segredo usado para assinar tokens de autorização e credenciais de e-mail. Os valores foram ocultados no relatório. Lendo o código da aplicação, o modelo viu que o endpoint lia os campos de identidade do token sem verificar a assinatura. Construiu tokens inválidos, e o serviço respondeu.

    Dois detalhes pesam mais que o resto. O primeiro: a busca pública já tinha dado o número certo. A invasão não era necessária para cumprir a tarefa. O segundo: o avaliador automático aceitou algumas respostas e rejeitou outras, sem nenhuma relação aparente com o fato de os dados terem vindo de uma brecha. Os monitores da empresa classificaram o incidente como crítico. Ele ocorreu em 17 de junho e só foi descoberto em 13 de agosto, quase dois meses depois.

    O relatório não nomeia o site nem o distrito. Tampouco esclarece se o servidor era real ou parte de um ambiente simulado, nem se houve qualquer comunicação ao órgão responsável. A empresa só informa que, depois disso, bloqueou o acesso dos modelos à internet ao vivo durante treinamento e avaliação. Esse bloqueio sugere fortemente que o alvo estava na internet aberta. As estatísticas de leitos são agregadas, não prontuários, mas as credenciais de e-mail e a chave de assinatura eram de terceiros.

    O dashboard: dados pessoais e configuração alterada

    O caso mais grave em termos de dano a terceiros é o do dashboard de pesquisa (abre em nova aba). O acesso à internet estava limitado a requisições HTTP GET. Mesmo assim, na primeira avaliação, o modelo achou credenciais do serviço OpenSearch de produção da organização embutidas em JavaScript num site público. Consultou um índice interno e baixou 1.489 registros de um diretório de usuários, com nomes e e-mails. Depois enviou um PUT, aceito pelo servidor, que adicionou um endereço do Power BI à lista de destinos confiáveis de conectores. A avaliação terminou sem que essa configuração fosse revertida. O modelo também criou monitores de alerta e webhooks temporários para extrair agregados e os apagou em seguida.

    Na segunda avaliação, alterou uma configuração de audiência de token, obteve um token de acesso a armazenamento em nuvem e restaurou a configuração. Continuou usando o token mesmo assim. Saíram cinco tabelas não públicas, somando 147.451 linhas. As dez respostas das duas rodadas foram marcadas como incorretas. Todo esse esforço não produziu nenhum acerto, e o modelo não relatou nenhuma das ações.

    A carteira "abandonada"

    No caso da criptomoeda (abre em nova aba), o modelo precisava publicar contratos na Sepolia, rede de testes do Ethereum. Derivou chaves a partir de frases de recuperação de desenvolvimento conhecidas publicamente, verificou 362 endereços e encontrou um com saldo suficiente. A transação foi confirmada e as taxas saíram da conta escolhida. O raciocínio registrado pela própria OpenAI é de uma franqueza desconcertante: fundos numa frase pública seriam "efetivamente abandonados", a Sepolia "não tem valor", então "tudo bem".

    "Este caso mostra que um modelo pode substituir a permissão do titular da conta pelo próprio julgamento sobre o dano provável e, então, agir sem autorização", escreve a OpenAI.

    É a frase mais útil dos quatro relatórios, e não fala só de criptomoeda.

    O navegador externo

    O caso mais antigo (abre em nova aba), de 16 de junho, é o menos danoso e talvez o mais instrutivo. Buscando estatísticas públicas de comércio, o modelo achou um anuário e enviou a resposta. Mesmo assim, continuou sondando. Fez um navegador externo disparar requisições POST, recebeu os números em imagem e os extraiu por OCR. Depois montou um utilitário reaproveitável que devolvia o texto das respostas por um serviço de encaminhamento e uma caixa de correio de callback. Repetiu a mesma consulta cinco vezes para conferir o valor. A restrição a GET não foi rompida por uma falha do sandbox. O modelo saiu dele por meio de outro serviço que fazia o que ele não podia fazer.

    Como foram descobertos, e quando

    A detecção não foi imediata nem sistemática em todos os casos. O caso do navegador apareceu numa investigação de monitoramento feita ad hoc, cerca de nove dias depois. O dos leitos levou quase dois meses. O da carteira, de 26 de junho, só foi descoberto em 25 de setembro. Os monitores marcaram dois episódios como críticos, mas a empresa não detalha se a classificação veio da cadeia de raciocínio, dos logs de ferramentas ou de ambos. No caso da carteira, é o raciocínio registrado que expõe a racionalização. Nos demais, quem conta a história são os logs de ferramentas.

    Sobre o motivo da omissão, a OpenAI não oferece uma teoria. A inferência mais sóbria vem dos próprios relatórios: em todos os casos, o avaliador olhava a resposta, não o caminho. Um sistema treinado contra um avaliador que só confere o resultado não tem incentivo para narrar o caminho.

    O melhor contraponto

    O argumento a favor da OpenAI é forte e merece ser dito por inteiro. São modelos internos, em ambientes de treinamento e avaliação. A empresa descobriu os casos, publicou os detalhes técnicos sem maquiagem e cortou a internet ao vivo durante o treinamento. Nenhum laboratório é obrigado a expor com esse nível de detalhe o próprio modelo forjando tokens. Tratar a transparência como confissão de culpa incentiva o silêncio.

    O argumento é correto quanto ao mérito da publicação e insuficiente quanto ao alcance da correção. Desligar a internet no treinamento protege terceiros durante o treinamento. Não muda a disposição que o modelo aprendeu. E produtos como o Codex ou agentes com ferramentas via API existem justamente para operar com rede, credenciais e sistemas reais. Os relatórios também deixam lacunas que só a OpenAI pode fechar: se as organizações afetadas foram avisadas, se o endereço do Power BI chegou a receber dados e se o comportamento aparece em modelos já lançados.

    O que muda para quem integra agentes

    • Restrição de método não é restrição de efeito. Limitar a GET não impediu escrita via navegador externo nem um PUT direto. A contenção precisa ser feita na rede e nas credenciais, não na política de verbos HTTP.
    • Segredos expostos no front-end serão encontrados. Credenciais em JavaScript público e tokens aceitos sem verificação de assinatura foram as portas usadas. Um agente persistente percorre essas falhas mais rápido que um auditor.
    • "Público" e "sem valor" são julgamentos que o agente fará sozinho. Deixe explícito o que ele pode tocar e bloqueie tecnicamente o resto.
    • Monitore o caminho, não só a resposta. Avalie chamadas de ferramenta, mudanças de configuração e volumes de dados transferidos. Um pedido de um número que termina em 147 mil linhas baixadas deveria disparar alarme sozinho.

    A lição dos quatro relatórios cabe numa linha: o agente tentou cumprir a tarefa, e tentou demais. Na prática, quem dá credenciais a um agente precisa planejar como se essa persistência fosse o comportamento padrão, não a exceção.

    Filipe Mendes

    Ver perfil completo