A Sakana AI, empresa de pesquisa em inteligência artificial, publicou em 8 de outubro de 2026 o artigo Beyond Imitation: A Framework and Benchmark for LLM-Assisted Peer Review (abre em nova aba), que apresenta o Multi-Layered Review (MLR), um sistema criado para ajudar revisores a encontrar erros em artigos científicos. Segundo os testes descritos no próprio estudo, o sistema identificou 73,43% das contradições inseridas nas alegações centrais dos textos, enquanto os três sistemas concorrentes avaliados ficaram abaixo de 15%. O trabalho foi aceito na Transactions on Machine Learning Research (TMLR), revista científica da área de aprendizado de máquina, conforme anúncio da própria empresa em 9 de outubro. O PDF do artigo traz ainda a marcação "publicado em 07/2026", que não coincide com a data de envio ao arXiv, em outubro.
A revisão por pares é o mecanismo em que especialistas leem um artigo antes da publicação para julgar se os métodos e as conclusões se sustentam. É trabalho lento, feito por acadêmicos com agenda cheia, e o volume de submissões cresce mais rápido do que a oferta de revisores. A Sakana AI posiciona o MLR como apoio a essas pessoas, não como substituto, e resume a posição na conta oficial da empresa:
A revisão por pares precisa de apoio, não de substitutos.
Três camadas de leitura
O MLR se organiza em agentes, programas de IA que executam tarefas específicas. O agente principal de revisão usa o Claude Sonnet 4, modelo da Anthropic; um segundo agente examina os apêndices do artigo com o Claude Haiku 3.5, versão menor e mais barata; e um agente opcional de literatura, também no Sonnet 4, faz buscas na web, desativado nos testes em que a busca poderia interferir no resultado. O sistema lê até 10 páginas do texto principal e tem como premissa compreender o manuscrito antes de escrever a revisão. São geradas quatro revisões independentes, e um erro conta como detectado quando pelo menos uma delas o aponta e explica.
Como os erros foram criados
Para medir a capacidade de detecção, a equipe construiu um benchmark, nome dado a um teste padronizado. Foram escolhidos 257 artigos com licenças abertas de cinco eventos de referência da área: ACL, AISTATS, CVPR, ICML 2025 e NeurIPS 2024. Um modelo de linguagem monta, para cada artigo, um grafo de conhecimento, um mapa das informações do texto e de suas relações. Em seguida, reescreve uma das afirmações para que ela contradiga outra parte do documento, e o artigo alterado é compilado em PDF. O resultado é um conjunto de 1.164 erros plantados, cada um a uma "distância" conhecida da alegação central do artigo. A distância zero corresponde justamente à alegação central reescrita como contradição.
Os próprios autores apontam dois limites desse método. Erros sintéticos tendem a ser mais fáceis de notar do que os erros reais de uma pesquisa. E, como os artigos originais são públicos, um concorrente poderia recuperar as edições comparando as duas versões, o que fragilizaria uma comparação com testes cegos.
Os números
| Sistema | Erros em alegações centrais | Conjunto completo |
|---|---|---|
| Multi-Layered Review, 4 revisões | 73,43% | 40,95% |
| Multi-Layered Review, 1 revisão | 60,79% | 28,32% |
| LLM-Review com Claude Sonnet 4 | 35,40% | 16,43% |
| AgentReview | 14,81% | 5,95% |
| LLM-Review (GPT) | 14,56% | 6,39% |
| AI Reviewer | 11,17% | 6,50% |
Na avaliação de cada captura, um modelo julgador, o o3, verificou se o erro apontado era de fato um erro, com média de dez execuções. Nos erros de distância zero, o artigo descreve o resultado como um ganho de cerca de quatro vezes sobre o baseline mais forte, o melhor sistema de comparação do teste. No conjunto completo das 1.164 contradições, o índice cai para 40,95%, o que mostra que o sistema acerta muito mais perto do núcleo do argumento do que nas bordas do texto.
Em um teste complementar, o WithdrarXiv-Check, feito sobre artigos que haviam sido retirados do arXiv, o MLR apontou similaridade com o motivo da retirada em 26,07% dos casos e exatidão em 16,11%, à frente dos concorrentes, que variaram de 18,48% a 5,21% no critério de similaridade.
A prova feita pelo próprio candidato
Existe um detalhe que pede cautela antes de celebrar os 73%: o benchmark foi construído pela mesma equipe que avalia o sistema, como se o candidato elaborasse a prova, aplicasse e corrigisse a própria redação. A MarkTechPost, veículo que resumiu o estudo, registrou de forma explícita que todos os números de benchmark, correlação, tokens e custo vêm do artigo, e não de uma replicação independente. Até agora, nenhuma equipe de fora confirmou os resultados.
O desenho do estudo, contudo, oferece alguma proteção contra esse viés. O ablation, teste em que se troca um componente para medir sua contribuição, mostra que a substituição do modelo por trás do concorrente LLM-Review, do GPT-4.1 para o Claude Sonnet 4, elevou a detecção de 14,56% para 35,40%. Isso indica que parte do desempenho vem do modelo subjacente, mas que o desenho em camadas responde pela diferença até os 73,43%. E a checagem manual de 50 capturas confirmou 86,80% delas, o que sugere, segundo os autores, que o índice reportado pode até ser conservador. O teste com artigos retirados do arXiv, por usar material externo ao benchmark sintético, também dá ao leitor mais do que um único número fabricado em casa. A suspeita inicial diminui de peso, sem desaparecer de todo.
Custo e concordância com humanos
O MLR roda nos modelos Claude sem GPU e sem ajuste fino, o treinamento adicional que normalmente encarece sistemas desse tipo. Cada revisão consome 189.062 tokens de entrada e 3.913 de saída, as unidades de texto processadas, e custa US$ 0,42 mais US$ 0,05, cerca de US$ 0,50 por revisão, sem o agente opcional de literatura. Uma variante de prompt único, com uma única instrução consolidada em vez das várias camadas, corta aproximadamente dois terços do custo.
Para medir se o sistema revisa como humanos revisam, o artigo calcula a correlação de Pearson, uma medida de quanto duas séries de notas variam juntas, que vai de -1 a 1. Nos dados do ICLR 2025, o MLR alcança 0,586, contra 0,742 na comparação entre dois revisores humanos. No ICML 2025, o resultado é de 0,429, levemente abaixo do concorrente AI Reviewer, que registrou 0,439. A concordância com humanos existe, é inferior à referência entre pessoas e não é uniformemente superior à dos rivais.
Em um estudo com usuários, de 38 sessões, os participantes avaliaram os comentários como benéficos, com média de 4,25 em 5, e úteis para a melhoria do texto, com 4,04. A nota mais baixa foi a de "criticalidade", o quanto o sistema aponta problemas de peso: 2,88.
Limites abertos
O estudo reconhece uma vulnerabilidade persistente a manipulação adversarial. Instruções escondidas no texto do artigo, técnica conhecida como injeção de prompt, desviaram o comportamento de todos os revisores de IA testados, incluindo o MLR. A disponibilidade também é restrita: dados e código estão disponíveis mediante solicitação aos autores, e o benchmark se limita a artigos com licenças que permitem reuso do conteúdo, do tipo CC BY, CC BY-SA e CC0. Não há registro de demo pública ou interface aberta. Para quem pesquisa avaliação automática de artigos, o material, obtido mediante solicitação, oferece algo raro: um teste que mede detecção de erros em vez de imitação do estilo dos pareceres humanos.
Perguntas frequentes
O Multi-Layered Review está disponível publicamente?
Não há demo ou API pública confirmada. O artigo informa que dados e código estão disponíveis mediante solicitação aos autores, e o conjunto de testes se restringe a artigos com licenças CC BY, CC BY-SA e CC0.
Os 73,43% foram confirmados por terceiros?
Não. Todos os números vêm do benchmark construído pela própria equipe de pesquisa, sem replicação independente. A checagem manual de 50 capturas, feita pelos próprios autores, confirmou 86,80% delas.
Quanto custa usar o sistema?
Segundo o artigo, cerca de US$ 0,50 por revisão, excluindo o agente opcional de literatura, sem necessidade de GPU ou ajuste fino. Uma variante de prompt único reduz o custo em aproximadamente dois terços.
O sistema substitui revisores humanos?
Não, segundo a Sakana AI, que define o MLR como apoio à revisão. O próprio estudo mostra correlação com notas humanas inferior à referência entre revisores humanos e vulnerabilidade de todos os revisores de IA testados à injeção de prompt.