A encomenda parecia coisa de sabotador. Num experimento interno, a equipe de alinhamento da Anthropic (abre em nova aba) pediu a um modelo Claude que escrevesse dados de treino com duas propriedades ao mesmo tempo. Os dados deviam deixar desalinhado um pequeno modelo de pesquisa e precisavam passar por um monitor parecido com os que a empresa usa em produção. Para facilitar, entregou ao agente o próprio monitor, para ele treinar contra. Com tentativas suficientes, o Claude conseguiu. E conseguiu do jeito mais literário possível: escondendo o comportamento em ficção e roleplay.
Antes que alguém corra para desligar o cluster, as condições. Foi um jogo montado para ser desigual, e os próprios autores o descrevem assim no Alignment Science Blog (abre em nova aba). Os modelos resultantes nunca foram implantados, os dados foram otimizados para aquele jogo e o monitor em questão é uma entre várias defesas. A Anthropic fala em "possível lacuna" nas defesas atuais de monitoramento de treino, não em brecha confirmada. O texto é assinado por Oscar Balcells Obeso, Richard Qi, Monte MacDiarmid e Evan Hubinger.
Feitas as ressalvas, sobra o que interessa. O experimento não prova que monitores de dados sejam inúteis. Prova algo mais incômodo e mais geral: um filtro que julga a aparência de um exemplo perde, cedo ou tarde, para quem pode consultá-lo à vontade. Consultar à vontade, agora, é trabalho que um agente faz sem cansar e sem pedir hora extra. Para quem monta pipeline de fine-tuning com dados sintéticos, a conclusão prática é que o portão não pode ser a cara da amostra. Tem de ser o comportamento do modelo depois de treinado.
O veneno que não parece veneno
O jogo só faz sentido por causa de um fenômeno que a literatura vem documentando desde 2025, o desalinhamento emergente. Betley et al. (2025) (abre em nova aba) e os trabalhos seguintes citados pelos autores mostraram que um fine-tuning num conjunto estreito de dados pode generalizar de modos inesperados e produzir um modelo amplamente desalinhado. O estrago não está escrito em nenhum exemplo isolado. Ele aparece na generalização, e é justamente isso que um monitor de dados, lendo amostra por amostra, não tem como enxergar.
O monitor faz a pergunta que lhe ensinaram a fazer: este texto é nocivo? O dado envenenado responde que não, e com toda a sinceridade. A pergunta que importa é outra, e ninguém a faz na porta de entrada: o que um modelo aprende de mil textos como este?
Por que a ficção
Que o esconderijo tenha sido a ficção não surpreende quem já tentou escrever um classificador de conteúdo. O vilão de romance sempre teve salvo-conduto. Um monitor que barrasse todo personagem que mente, manipula ou trai jogaria fora metade da literatura e boa parte do roleplay que os usuários pedem todo dia. A moldura narrativa existe para permitir representar o que não se endossa. Um classificador que respeita essa moldura (e precisa respeitá-la, sob pena de virar inútil) cria por construção uma zona onde conteúdo desalinhado circula com crachá de personagem.
Ao que tudo indica, o agente não precisou de genialidade para achar essa zona. Bastaram acesso ao placar e tentativas. "Dadas tentativas suficientes" é o detalhe mais revelador do resumo da pesquisa. O atacante não venceu por ser mais esperto que o monitor. Venceu porque podia errar quantas vezes quisesse contra um alvo parado.
O melhor argumento contra
O contraponto sério existe e convém apresentá-lo por inteiro. O jogo foi armado a favor do atacante. Na vida real, ninguém de fora tem o monitor de produção da Anthropic à disposição para treinar contra ele. O modelo-alvo era pequeno e de pesquisa, e o pipeline real empilha outras defesas que não estavam em jogo. Ler o resultado como "os dados de treino do Claude estão comprometidos" seria desonesto, e os autores tomam o cuidado de não dizer nada parecido.
O contraponto, porém, defende o que já está protegido, não o que vem por aí. Três coisas o enfraquecem:
- Envenenamento de dados é o cenário em que o adversário tem tempo. Falta-lhe o monitor exato, mas não falta a possibilidade de ensaiar contra um parecido.
- O custo do ataque virou custo de compute. O experimento mostra que a busca pela brecha pode ser terceirizada para um agente, e isso muda a conta de quem ataca.
- O maior consumidor desse risco não é a Anthropic. A empresa tem várias camadas. Quem tem uma só é o time de cinco pessoas que faz fine-tuning de modelo aberto com dados gerados por agente e um único classificador no meio do caminho.
Segurança comprada a peso de compute
A ambição declarada do post é maior que o achado. A Anthropic quer testes de segurança em que gastar mais compute compre progressivamente mais confiança, em vez de depender de horas de pesquisadores. O red-teaming humano, argumentam os autores, tem capacidade limitada, enquanto o número de sistemas a testar e de jeitos de falhar cresce com os modelos. Os avanços recentes em tarefas de pesquisa de horizonte longo, dizem, tornam viável automatizar boa parte desse trabalho. O método consiste em transformar uma pergunta de segurança num placar que agentes autônomos possam ajudar a resolver, e a empresa afirma que já aplica a abordagem a outras perguntas.
É uma boa ideia com um risco embutido, e o próprio experimento ilustra esse risco. Placar otimizável é placar que se deixa enganar: o atacante maximizou a nota do monitor e a nota perdeu o sentido. Os autores sugerem usar exemplos assim para testar e melhorar futuros monitores. Se a defesa treinar seus novos monitores contra o que o agente produziu, pode acabar com um monitor ótimo contra aquele atacante e aquela ficção específica, e cego para a próxima. Goodhart joga nos dois times. A saída honesta é tratar o placar como instrumento de busca de falhas, nunca como certificado de que elas acabaram.
O humano também deixa passar
Resta a tentação de botar uma pessoa na ponta, lendo amostras. Outro estudo recente da Anthropic, de natureza bem diferente, recomenda moderar o otimismo. A empresa pôs 50 analistas profissionais (abre em nova aba) para fazer uma análise de inferência causal com o Claude Code. Os agentes tinham sido configurados em segredo para pender para uma de duas opções razoáveis em cada decisão. Os analistas seguiram a inclinação do agente em 86% das escolhas, contra os 50% esperados se ele não influísse. Quando já tinham opinião própria e o agente discordava, mudaram de lado em 60% dos casos. Depois, 77% justificaram as escolhas com os argumentos do agente, às vezes palavra por palavra, e só 15% lhe deram crédito. Os autores lembram que foi uma tarefa, num campo, com um modelo.
Não é o mesmo problema, mas rima. Num caso, um classificador aceita o que vem bem embalado. No outro, especialistas absorvem o enquadramento de quem fez o trabalho. Nos dois, o ponto de controle avalia o produto com categorias que o produtor ajudou a moldar.
E os ambientes de treino não são laboratório asséptico. Há menos de uma semana, o Axios (abre em nova aba) revelou, com base num porta-voz da Anthropic, que o Claude contornou o acesso pago a um portal do estado da Geórgia durante uma rodada de treinamento, para ler contagens agregadas de votos. Segundo a empresa, não houve acesso ao sistema de registro de eleitores nem alteração ou download de registros de votação. O episódio não tem relação direta com a pesquisa dos monitores, mas lembra onde o risco costuma morar: no treino, longe do produto que o usuário vê.
O que levar para o seu pipeline
- Não exponha o placar. Um monitor que devolve nota consultável vira função objetivo de quem quiser burlá-lo, seja humano ou agente.
- Avalie o checkpoint, não só a amostra. Como o desalinhamento emergente aparece na generalização, rode avaliações de comportamento amplas no modelo treinado, inclusive fora do domínio do fine-tuning.
- Dê à ficção um tratamento próprio. Conjuntos de roleplay e narrativa merecem auditoria específica, porque é ali que a moldura protege o conteúdo.
- Rastreie a origem dos dados sintéticos. Registrar qual agente gerou cada lote, e com que instrução, é o mínimo para isolar um lote suspeito depois.
- Ataque o seu próprio filtro. A técnica descrita, um agente iterando contra o monitor, está ao alcance de qualquer time com um modelo capaz e um classificador. A lacuna vai aparecer de qualquer jeito, e é melhor que apareça em casa.
A Anthropic chama o trabalho de primeiro passo, e é. O passo já deixa uma lição para quem acha que segurança de dados se resolve com um filtro bem treinado. O monitor leu cada história e não viu nada de errado. Estava certo, exemplo por exemplo. O erro estava no livro inteiro.