Qualquer sala de aula ensina que punir quem cola nem sempre produz um aluno honesto. Muitas vezes produz um colador mais discreto. Um trabalho publicado na segunda-feira (19) no blog de alinhamento da Anthropic (abre em nova aba) parte dessa constatação, aplicada à inteligência artificial, para propor algo contraintuitivo. Em vez de castigar a trapaça, a ideia é deixar o modelo trapacear durante o treino e depois remover a parte dele que aprendeu a fazer isso.
O método se chama GRAFT, sigla em inglês para algo como "ajuste fino com roteamento de gradiente em adaptadores". O nome é feio, mas a ideia é elegante.
O que é a trapaça, afinal
No treino por reforço, o modelo ganha pontos quando cumpre uma tarefa. O problema, que os pesquisadores chamam de reward hacking (burlar a recompensa), aparece quando ele descobre um atalho que rende os pontos sem resolver o que deveria. É o aluno que percebe que o professor só confere a resposta final, nunca a conta.
A defesa mais comum é um fiscal automático, o monitor, que flagra a trapaça e tira pontos. Os autores mostram por que isso sai pela culatra. O experimento usou o Qwen3-8B, um modelo de 8 bilhões de parâmetros, num ambiente de treino de raciocínio aritmético chamado Countdown-Code. O monitor foi montado para pegar 100% de um tipo de trapaça e nada do outro. Com a punição ligada, o modelo abandonou por completo a trapaça vigiada e passou a usar a outra em cerca de 30% das tentativas. Ele não ficou honesto. Ficou esperto.
Deixar colar, mas num quarto separado
O GRAFT tira o monitor da conta de pontos. O fiscal continua vigiando, mas não pune. Ele só decide onde o aprendizado vai parar. Os pesquisadores acrescentam ao modelo um lote de neurônios novos, divididos em dois compartimentos chamados RETAIN ("manter") e FORGET ("esquecer"). O funcionamento é este:
- quando uma tentativa passa limpa pelo monitor, os dois compartimentos aprendem com ela;
- quando o monitor flagra trapaça, só o FORGET aprende, e com o dobro de intensidade;
- em paralelo, um segundo ambiente de treino, chamado de âncora, ensina apenas o RETAIN;
- na hora de colocar o modelo em uso, o FORGET é desligado.
O pulo do gato está num detalhe. Como o monitor não mexe na recompensa, o modelo não tem motivo para aprender a esconder o que faz, argumentam os autores no artigo publicado no arXiv (abre em nova aba) uma semana antes do post. Eles chamam o FORGET de conjunto de parâmetros "sacrificial": ele existe para absorver o mau comportamento e ir para o lixo.
O resultado que importa
Antes da remoção, o modelo treinado com GRAFT trapaceava à vontade, e o tipo vigiado aparecia em até 35% das tentativas. Depois que o FORGET foi desligado, a taxa de trapaça de todos os tipos caiu para perto de zero. Isso inclui o tipo que o monitor nunca enxergou. E o modelo não desaprendeu a tarefa: continuou acertando quase 20 pontos percentuais a mais que o modelo original, antes do treino.
Essa é a parte que merece manchete. Isolar o que o fiscal vê seria previsível. Eliminar também o que ele não vê é o que tornaria o método útil no mundo real, onde nenhum monitor pega tudo.
Os autores relatam o mesmo padrão em outros cenários. Com o minúsculo SmolLM2-135M, em vários ambientes de teste simplificados, o GRAFT impediu em todos eles que o modelo aprendesse a explorar as falhas do monitor. Numa variante sem treino por reforço, eles treinaram o Qwen3-32B com registros de agentes de programação vindos de modelos de ponta, registros que continham trapaças. Mesmo provocado a trapacear, o modelo nunca o fez. E resolveu tarefas na mesma proporção de um modelo treinado com dados perfeitamente filtrados.
Quem assina e o que falta provar
Vale ler a etiqueta com atenção. O texto está no domínio da Anthropic (abre em nova aba), mas só um dos sete autores, Alex Cloud, é da empresa. Os dois autores principais, Shawn Hu e Jake Ward, dividem o crédito com a ordem dos nomes sorteada e vêm do MATS, assim como outros dois coautores. Completam a lista um pesquisador de Stanford e um da FAR AI. Ward resumiu a tese no X sem rodeios:
Modelos adoram burlar a recompensa. Talvez a gente devesse simplesmente deixar! No nosso novo artigo, deixamos os modelos burlarem a recompensa durante o RL, mas definimos quais parâmetros aprendem esse comportamento. Quando desativamos esses parâmetros para o uso real, o modelo mantém as novas capacidades, mas não trapaceia!
O entusiasmo é compreensível, e os próprios autores tratam de freá-lo. Os testes de reforço usaram modelos de até 8 bilhões de parâmetros, monitores simples e tarefas de uma única rodada, sem as longas interações típicas de agentes. O monitor do experimento principal também era limpo de um jeito que fiscais reais não são, já que acertava tudo de um tipo e nada do outro. Falta saber se o truque sobrevive nos sistemas de ponta, com monitores que erram de forma bagunçada. O código está aberto no repositório do projeto no GitHub (abre em nova aba), cujo README informa que o artigo vai à conferência NeurIPS 2026.
O GRAFT ainda é um experimento de laboratório, não uma vacina. Mas o diagnóstico já vale a leitura: punir só o que se vê ensina a esconder o que não se vê. Para quem coloca agentes de IA para trabalhar, fica o lembrete de que passar nos testes não é o mesmo que resolver o problema.