Pular para o conteúdo
    NotíciaPesquisa e ciência

    Estudo da Anthropic: especialistas seguem palpite sorteado da IA e acham que é deles

    Num teste da Anthropic, 50 analistas profissionais seguiram em 86% das escolhas técnicas a preferência que um agente de IA recebeu por sorteio. A maioria considerou a decisão final sua.

    Moeda girando sobre relatórios impressos de fazendas de uma cooperativa agrícola, com duas opções de análise marcadas à caneta, sob luz lateral de escritório
    Em teste com 50 analistas, a escolha final coincidiu em 86% dos casos com uma preferência definida por sorteio.
    Neste artigo

    A Anthropic (abre em nova aba) fez algo que empresas de tecnologia raramente fazem: pagou para medir quanto o próprio produto decide pelas pessoas que o usam. A resposta saiu em 27 de outubro, num estudo (abre em nova aba) com especialistas. O produto decide muito, e quase ninguém percebe.

    O experimento foi montado com cuidado de cartório. Cinquenta analistas profissionais participaram. Todos tinham experiência em inferência causal, a especialidade de medir se uma coisa de fato provocou outra. A tarefa era realista: aconselhar uma cooperativa agrícola fictícia a expandir, encerrar ou prorrogar por um ano um serviço de assessoria a fazendas. Eles trabalharam com o Claude Code, ferramenta em que a IA escreve e executa a análise, usando o modelo Claude Opus 4.8. No caminho havia quatro escolhas técnicas, cada uma com duas opções defensáveis: que resultado medir, como comparar as fazendas, quais fazendas incluir e como ponderar os dados.

    Aí entra a moeda. Para cada participante, um sorteio definiu para que lado o agente penderia. Os analistas não sabiam disso. O agente recebeu ordem de apresentar a melhor defesa honesta da sua posição, mudar de ideia se os dados exigissem e nunca enganar. Ele não mentiu nem escondeu dados. Apenas tinha uma opinião, e essa opinião fora sorteada.

    Moeda girando no ar sobre folhas impressas com gráficos de regressão e tabelas estatísticas, com uma pessoa desfocada ao fundo fazendo anotações sob luz lateral de escritório
    No experimento, analistas adotaram em 86% das escolhas técnicas a preferência definida por sorteio e, em sua maioria, atribuíram a decisão final a si mesmos.

    O cara ou coroa venceu

    Nas quatro escolhas, os analistas ficaram com a preferência do agente em 86% das vezes. Se a inclinação da máquina não fizesse diferença, o número rondaria os 50%. Decisão por decisão, a adesão foi de 92% na medida de resultado, 90% na ponderação, 82% no método de comparação e 81% na seleção das fazendas.

    Ter convicção prévia protegeu pouco. Em 38 casos, o analista já havia manifestado preferência antes de o agente falar. Quando a máquina discordou, ele trocou de lado em 60% das vezes. Quando concordou, a troca ficou em 6%. Segundo o site The Decoder, anos de experiência, formação, notas em testes e confiança declarada em IA não mostraram relação estatisticamente confiável com quem resistia. O currículo não blindou ninguém.

    A autoria trocou de mão sem recibo

    O dado mais incômodo veio depois. Quando tiveram de justificar as escolhas, 77% repetiram argumentos do agente, às vezes palavra por palavra. Só 15% mencionaram a IA. Mais da metade, 52%, avaliou a recomendação final como mais sua do que da máquina. Outros 35%, conforme o The Decoder, disseram que ela era majoritária ou inteiramente sua. Os registros mostram que o agente expôs sua posição primeiro em 77% das decisões.

    Assinam o trabalho Amaç Herdağdelen, do programa de bolsistas da Anthropic, e Hailey Joren e Alex Tamkin, da equipe de alinhamento. Segundo a Al Jazeera, eles escreveram que essa tendência a ceder pode ser "difícil de identificar, mesmo para os próprios especialistas". Ao anunciar a pesquisa, Tamkin formulou a pergunta que ela tentava responder:

    Nova pesquisa da Anthropic: como agentes de IA moldam as escolhas de julgamento de especialistas. Quando especialistas delegam trabalho a um agente, eles ainda tomam as decisões-chave? Testamos isso em um ensaio randomizado com 50 analistas de dados profissionais.

    — Alex Tamkin (@AlexTamkin), 27 de out. de 2026, no X

    O título que exagera

    Alberto Romero, na newsletter The Algorithmic Bridge, leu o estudo como um motivo para parar de trabalhar com IA. No subtítulo, escreveu que "a máquina está secretamente decidindo por você". Ele lembra que modelos costumam escolher o 7 entre 1 e 10, Shakespeare como melhor escritor e o azul como cor favorita em mais de 90% das vezes.

    O estudo não autoriza esse salto. Dos 61 recrutados, 11 preferiram não usar o agente. Desses, 6 (55%) cometeram erros metodológicos graves, contra 3 dos 50 que usaram a ferramenta (6%). Também demoraram mais: mediana de 90 minutos, contra 65. A comparação é torta, porque quem dispensou a IA tinha menos experiência e escolheu ficar de fora. Mesmo assim, aponta no sentido contrário ao do título. Com a máquina, os analistas erraram menos. O problema é que ela decidiu mais do que eles admitem.

    Os próprios autores fazem outras ressalvas. As preferências do agente foram reforçadas de propósito, então no uso cotidiano o efeito pode ser menor. Na recomendação final, sobre expandir ou encerrar o programa, o deslocamento foi de 17 pontos e não teve significância estatística pelo método definido antes do teste (p = 0,069). Numa análise exploratória, porém, as inclinações sorteadas sozinhas previram 82% das recomendações. Chutar sempre a resposta mais comum acertaria 61%.

    O risco está na moeda que ninguém joga

    O detalhe que mais merece atenção ficou quase num rodapé. Sem nenhuma inclinação atribuída, o Claude Opus 4.8 fez as mesmas cinco escolhas em 112 de 123 execuções. Deixada por conta própria, a máquina tem gosto, e o gosto é quase sempre o mesmo. Se milhares de analistas consultarem o mesmo modelo, a opinião deixa de ser sorteada: passa a ser uma só, repetida em escala e assinada por cada um deles. Segundo a Al Jazeera, os resultados levantam a possibilidade de as preferências prévias da IA moldarem decisões de política pública relevantes, inclusive em segurança de IA.

    Quem trabalha com agentes não precisa largá-los. Precisa saber que, quando há duas respostas razoáveis, a primeira opinião que aparece na tela tende a virar a sua, e que ter posição formada antes ajuda menos do que se imagina. Há um remédio barato, que o estudo não testou: pedir à máquina a melhor defesa da opção que ela descartou e anotar de quem veio cada ideia. A Anthropic jogou a moeda às claras e contou o resultado. Fora do laboratório não há moeda, há o gosto fixo do modelo, e ninguém avisa o usuário.

    Foto de Leandro Vieira

    Leandro Vieira

    CEO e founder | IA.com.br

    Ver perfil completo