PivotOPD: NVIDIA ensina agentes de IA a se recuperar do erro pivotal que sabota a tarefa

Um agente de linguagem pode executar 25 turnos corretos de 30 e mesmo assim falhar na tarefa. O problema raramente é ignorância distribuída ao longo do episódio; quase sempre existe um turno específico em que a decisão tomada fecha a rota para a solução. O PivotOPD, framework de destilamento on-policy apresentado pela NVIDIA, parte dessa observação e treina o modelo em duas frentes: evitar o erro que decide o episódio e, quando ele acontece mesmo assim, sair do estado que ele criou.

O trabalho foi publicado como relatório técnico em 30 de setembro de 2026, no arXiv (abre em nova aba), sob licença CC BY 4.0, com página de projeto no NVIDIA Research (abre em nova aba). A autoria reúne Yinghui He (Princeton, com o trabalho realizado durante estágio na NVIDIA), Yapei Chang (NVIDIA e University of Maryland) e, pela NVIDIA, Khushi Bhardwaj, Daniele Molinari, Tugrul Konuk, Jan Kautz e Ali Hatamizadeh, este último também responsável pela submissão.

Um aviso vale desde o início: os números que seguem são os resultados preliminares relatados pelos próprios autores na versão v1 do artigo. Nenhuma replicação independente os confirmou, e essa condição atravessa todas as conclusões possíveis sobre o método.

Por que o destilamento on-policy degrada em diálogos longos

Antes de examinar a solução, vale fixar o vocabulário. Um rollout é a trajetória completa que o agente percorre em uma tarefa: a sequência de ações, observações e respostas até o fim do episódio. Destilamento on-policy (on-policy distillation) é uma técnica em que um modelo professor maior pontua, passo a passo, as trajetórias geradas pelo próprio modelo aluno, em vez de treinar o aluno sobre trajetórias escritas por terceiros. A vantagem sobre reforço com recompensa esparsa, em que só o resultado final ensina, é a densidade do sinal: cada turno recebe supervisão.

O artigo identifica onde essa densidade deixa de funcionar na interação de vários turnos. Uma ação errada muda os estados seguintes, e os erros se acumulam: o aluno passa a receber supervisão sobre estados que só existem porque ele errou antes. Nos experimentos preliminares descritos pelos autores, o destilamento on-policy padrão reduziu a taxa geral de falha de 79% para 56%. Já as falhas ocorridas depois de um turno pivotal quase não se moveram: de 51% para 49%.

O gargalo é de amostragem. A ação de recuperação, aquela que devolveria o agente ao caminho da tarefa, mantém probabilidade abaixo de 1% na política do aluno. Em um grupo de oito rollouts, o esquema usual de reforço com grupos nunca chega a amostrá-la. Sem amostra, não há gradiente; sem gradiente, o comportamento de recuperação nunca é reforçado. O modelo não aprende a se salvar porque quase nunca se salva durante o treino. Essa é a falha estrutural que o método ataca, e ela não depende de quão bom seja o professor.

Um erro pivotal, medido com oráculo

O diagnóstico acima levou os autores a medir com precisão o que é um erro pivotal. A definição operacional: uma ação que afasta o agente da conclusão da tarefa, identificada em retrospecto por comparação com uma ação de referência (gold action) nomeada por quem conhece a solução. No ALFWorld, ambiente de tarefas domésticas em texto, os autores contam com um oráculo simbólico, ou seja, o simulador sabe exatamente onde está a solução e pode apontar o turno em que o episódio se perdeu.

Com esse instrumento, três modelos Qwen3, de 8B a 235B parâmetros, mostraram um padrão estável: 59% dos rollouts fracassados contêm um erro pivotal, e o primeiro costuma chegar cedo, com mediana entre os turnos 8 e 12 de 30.

O dado mais interessante está no replay. Quando os autores corrigiram apenas o turno pivotal e repetiram o episódio do mesmo estado, a taxa de sucesso subiu de 8% para 59%. Quando deixaram o erro no lugar e guiaram o modelo somente nos dois turnos seguintes, o resultado ficou em 58%. A diferença entre apagar o erro e conviver com ele é de um ponto percentual. Em outras palavras: a maior parte desses erros é recuperável, e o custo da recuperação se concentra em poucos turnos logo após o pivô.

Isso reorienta o alvo do treino. Se quase 60% das falhas pendem de um único turno, e se guiar dois turnos após ele recupera praticamente tudo, então ensinar recuperação vale tanto quanto ensinar prevenção. É essa tese que separa o PivotOPD de um destilamento comum.

Três peças: detecção, prevenção e recuperação

O PivotOPD acrescenta três componentes a um treino de reforço com grupos (group-based RL) baseado em PPO, o Proximal Policy Optimization, algoritmo padrão de ajuste por reforço para modelos de linguagem. Tudo entra em uma mesma atualização, o que importa para quem já mantém um pipeline de treino.

Detecção do pivô. Um professor maior lê cada rollout e o resultado final em retrospecto, escolhe turnos candidatos e nomeia uma ação de referência para cada um. O turno é pivotal quando a ação do aluno diverge dessa referência. O professor então nomeia uma ação de recuperação para cada um dos K turnos seguintes, com K ajustado por validação. Um detalhe de desenho merece atenção: o professor só nomeia ações, não escreve texto livre. A supervisão permanece no mesmo espaço de decisão do agente, o que reduz o risco de o aluno imitar o estilo do professor em vez de aprender a decisão.

Destilamento preventivo. Sobre a ação de referência, o aluno é re-pontuado contra um autoprofessor privilegiado: uma cópia congelada do próprio aluno, à qual se fornece a ação correta como dica. A distância usada é a KL reversa (reverse KL), a divergência de Kullback-Leibler medida no sentido aluno-professor, que pune o aluno por colocar massa de probabilidade onde o professor não tem. A escolha evita que o aluno copie comportamentos de estados que ele mesmo nunca geraria, a armadilha clássica do treino off-policy.

Destilamento de recuperação. Nos K turnos após o pivô, o aluno sem dica é treinado sobre as respostas de recuperação escritas pelo autoprofessor, agora com KL direta (forward KL), medida no sentido professor-aluno. A KL direta cobre os modos do professor, e é isso que permite transferir comportamentos que o aluno quase nunca amostra por conta própria, exatamente o caso das ações de recuperação. Para leitores menos familiarizados: a divergência de Kullback-Leibler mede a distância entre duas distribuições de probabilidade, e o sentido da medição define o comportamento da perda, mais restritiva em um sentido, mais abrangente no outro.

Sobre a qualidade da detecção, os materiais do projeto indicam que, no ALFWorld, os pivôs detectados caíram a um turno de distância do pivô apontado pelo oráculo em 77,8% dos rollouts fracassados, em média. A detecção não é perfeita, e o erro de rotulação tem consequência direta: um pivô mal identificado ensina o aluno a evitar uma ação que talvez fosse boa.

Resultados: primeiro lugar em oito médias, com nuance

Os benchmarks avaliados são três: ALFWorld (tarefas domésticas em texto), WebShop (navegação de compra simulada, medida por pontuação e por taxa de sucesso) e Search-based QA (perguntas e respostas com busca). Contra 13 baselines, com três sementes por configuração, o PivotOPD ocupou o primeiro lugar nas oito médias por benchmark, tanto para o aluno Qwen3-1.7B quanto para o Qwen3-8B, conforme os autores.

Com o aluno de 1,7B, o ganho sobre o baseline mais forte foi de +5,5% no ALFWorld e +5,9% no Search-based QA. No WebShop, a comparação com o baseline RLSD é mais reveladora do que a média: o PivotOPD vence por apenas +1,2% em pontuação, mas por +14,1% em taxa de sucesso. As duas métricas divergem porque a pontuação premia progresso parcial e a taxa de sucesso exige tarefa completa; um método que conserta o fim do episódio tende a ganhar mais na segunda.

Professores e alunos seguem uma proporção modesta: o Qwen3-30B-A3B ensina o aluno de 1,7B, e o Qwen3.5-122B-A10B ensina o de 8B. Um resultado merece a atenção de quem planeja custos: com o Qwen3-8B como professor dele mesmo, o método continuou em primeiro nos três benchmarks, à frente por no mínimo +1,5% e por +3,9% em média. Um professor da mesma família e tamanho moderado já captura parte do valor, o que reduz a exigência de infraestrutura.

A ablação do orçamento de recuperação mostra que o componente não é cosmético. Escolher K por validação elevou a melhor validação sobre K=0 em 5,4 pontos no ALFWorld, 21,5 no WebShop e 2,4 no Search-based QA. O WebShop, com mais turnos de exploração, é onde o orçamento de recuperação pesa mais.

O teste mais direto da tese está no replay de 72 erros pivotais rotulados pelo oráculo, repetidos a partir do mesmo estado inicial. Os resultados relatados pelos autores foram:

Ao longo dessas repetições, o método melhorou a recuperação em 60 dos 72 casos e não piorou nenhum. Para quem escreve código, esse é o dado que sustenta a alegação central: recuperação é um comportamento treinável, não um efeito colateral da prevenção de erros.

A transferência para outra família de modelos usa o SWE-Bench Verified, conjunto de issues reais de repositórios de software avaliado por taxa de resolução. Um aluno Nemotron-3.5-SFT guiado pelo professor Nemotron-3-Super passou de 62,8% para 66,0% (+3,2 pontos); o destilamento on-policy padrão no mesmo lugar somou apenas +0,2. O professor, isolado, resolve 73,0% das tarefas. Como os episódios são longos e executados em contêineres, esse experimento usou somente o destilamento preventivo. O ganho em engenharia de software vem da prevenção; a recuperação nesse domínio segue sem medição.

Sobre operação, a cobertura técnica do trabalho indica treino em nós com GPUs NVIDIA H100 e custo de inferência inalterado, já que o método muda os pesos do aluno, não a arquitetura nem o runtime. O agente treinado roda onde o modelo base roda.

Onde o método pede cautela

O primeiro limite é de método científico, não de engenharia. Todos os números são os relatados pelos autores na v1, avaliados nos mesmos benchmarks que orientaram o desenho do método. Não há replicação independente, e qualquer decisão de adoção deveria passar por validação no domínio específico de quem adota, com orçamento de cálculo controlado.

O segundo limite é o professor. A detecção de pivôs presume que existe uma ação de referência identificável em retrospecto. Em ALFWorld ou WebShop, com objetivos fechados e oráculo, a premissa é razoável. Em domínios abertos, com preferências humanas ou objetivos ambíguos, a noção de ação única correta se dissolve, e o rótulo passa a refletir a opinião do professor. Os autores não apresentam medição do método fora desse regime.

Terceiro: os benchmarks em que o método completo foi avaliado compartilham espaços de ação discretos e objetivos verificáveis. O único teste fora desse regime, o SWE-Bench Verified, excluiu justamente a recuperação. O componente mais inovador do método, portanto, tem a menor cobertura de avaliação entre os domínios que mais interessam a equipes de engenharia.

Quarto, o custo. Os materiais divulgados reportam resultados, mas não itemizam horas de H100, número de rollouts nem o custo das passadas extras do professor para rotular pivôs e redigir respostas de recuperação. O custo de inferência não muda; o custo total de treino não está documentado nos materiais disponíveis. Quem comparar o PivotOPD com alternativas precisa incluir essas passadas na conta.

Existe também um contraponto honesto. Aumentar o número de rollouts por grupo elevaria a chance de amostrar a ação rara de recuperação sem qualquer mecanismo novo. O artigo não compara diretamente o PivotOPD contra reforço com grupos maiores sob o mesmo orçamento de cálculo. A alegação de que o problema exige destilamento, e não apenas mais amostras, permanece como hipótese bem sustentada pelos dados de replay, ainda não demonstrada por ablação de orçamento equivalente.

Para quem a ideia faz sentido

Três decisões antecedem qualquer adoção. A primeira é diagnóstica, e pode ser executada sem treinar nada: rotular em retrospecto os turnos críticos dos rollouts fracassados da própria aplicação e medir quanto da falha desaparece ao corrigi-los. Se a correção de poucos turnos não muda o resultado, o PivotOPD não ataca o seu problema. Se muda, o método tem alvo confirmado nos seus dados, o que vale mais que qualquer benchmark público.

A segunda é a disponibilidade de um professor capaz de nomear ações de referência melhores que as do aluno nos turnos difíceis. Os experimentos com o Qwen3-8B ensinando a si mesmo sugerem que o professor não precisa ser enorme, mas precisa acertar onde o aluno erra. Sem essa margem, a detecção rotula ruído e o treino pode ensinar o aluno a evitar ações corretas.

A terceira é de infraestrutura. O método exige treino com PPO, grupos de rollouts e passadas de professor no laço. Equipes sem pipeline de reforço estabelecido enfrentam um custo de implantação desproporcional ao ganho médio; para quem já treina com reforço em grupos, os dois termos adicionais entram na mesma atualização e a integração é incremental. A alternativa mais barata, em muitos casos, é usar o professor na inferência: um supervisor que intercepta o turno seguinte a uma ação suspeita custa mais por consulta, mas exige zero treino. Essa troca depende do volume de consultas e da amortização do treino, e o artigo não faz essa comparação.

Em termos práticos, o método se dirige a quem constrói agentes interativos de vários turnos com ferramentas: navegação, uso de APIs, execução de código, fluxos de atendimento em múltiplas etapas. Para geração de turno único, o problema que o PivotOPD resolve não existe.

Conclusão: recuperação é um comportamento treinável

A contribuição duradoura do PivotOPD não é o primeiro lugar nas oito médias; médias de benchmark contra treze baselines são fotografias, não leis. A contribuição é a desconstrução de uma suposição confortável: que ensinar um agente a evitar erros e ensiná-lo a se recuperar deles são o mesmo treino. Os dados de replay mostram que não são. O destilamento padrão quase não mexe nas falhas pós-pivô, de 51% para 49%, enquanto o mesmo treino com recuperação explícita eleva a recuperação de 20,3% para 72,7% nos casos repetidos.

A distinção entre fato e promessa é simples de enunciar. Fato medido pelos autores: dentro de ALFWorld, WebShop e Search-based QA, com professores Qwen e Nemotron, o método vence 13 baselines e recupera a maioria dos erros pivotais repetidos sem piorar nenhum. Promessa ainda não demonstrada: que o mesmo ganho se materialize em domínios abertos, sem oráculo, e com o componente de recuperação ativo em episódios longos como os de engenharia de software. Entre os dois, existe um protocolo barato que qualquer equipe pode executar antes de decidir: medir quanto da própria taxa de falha depende de um único turno. Se a resposta se parecer com a do artigo, a ideia merece teste. Se não se parecer, o problema está em outro lugar.

Perguntas frequentes