Gemini 4 Argon faz 97,5% no ARC-AGI-3 e só fica atrás do GPT-6 Astra

Até 13 de outubro, só a OpenAI tinha colocado um modelo de inteligência artificial acima de 95% no ARC-AGI-3, a edição mais recente da bateria de testes mantida pelo ARC Prize. Agora são duas empresas. O Gemini 4 Argon, do Google, marcou 97,5% em resultados verificados que o ARC Prize divulgou nessa data, conforme a página de resultados do modelo (abre em nova aba).

Acima dele, nesse teste, aparece apenas o GPT-6 Astra, da OpenAI, com 99,9%. A tabela geral do ARC Prize registra 99,95% para a família GPT-6. O Argon é o novo modelo de fronteira do Google DeepMind (abre em nova aba), termo usado para os sistemas mais avançados que cada laboratório tem em determinado momento. O site especializado The Decoder resumiu o resultado assim: nenhum modelo do Google tinha chegado tão perto da fronteira da IA em meses.

O ARC-AGI-3 é formado por jogos. O ARC Prize compara o desempenho dos modelos com uma referência humana: cerca de 500 pessoas que jogaram os mesmos 25 jogos públicos, segundo o OfficeChai. O Argon precisou de 62% menos ações do que esse grupo, a mesma marca do GPT-6 Astra. Em três dos 25 jogos, igualou ou superou o recorde de speedrun, a conclusão mais rápida já registrada. Em outros seis, ficou a menos de 10% do melhor tempo.

O peso da montagem

Os 97,5% vieram com uma condição. Foram obtidos com o Provider Adapter Harness, que se pode traduzir como harness adaptador do fornecedor. Harness é a montagem do teste, a estrutura de software que liga o modelo às tarefas. A versão adaptadora aceita recursos específicos de cada empresa. Um deles é o raciocínio retido, em que o modelo mantém o que pensou de uma etapa para a seguinte. Outro é a compactação de contexto, que resume o histórico acumulado da sessão para que ele continue cabendo no espaço de trabalho do modelo. Numa comparação escolar, seria como deixar o aluno guardar o rascunho entre uma questão e outra, em vez de recolher a folha a cada resposta.

No harness padrão, sem esses recursos próprios do fornecedor, a coisa muda de figura. Com nível baixo de raciocínio, configuração em que o modelo dedica menos processamento para pensar antes de responder, o Argon fez 49,8%. A rodada custou cerca de US$ 5.800, contra US$ 4.800 na montagem adaptadora. Saiu mais caro e rendeu perto da metade.

Só que esse número não vem de uma medição completa. Segundo o ARC Prize, problemas na API, o canal pelo qual programas acessam o modelo, impediram que a avaliação no harness padrão chegasse ao fim. Das 55 tarefas, o Argon concluiu 42 no nível baixo de raciocínio, 46 no médio (em que marcou 46,3%) e apenas 19 no alto. As notas publicadas consideram as 55 tarefas e preservam o crédito parcial das rodadas interrompidas. O resultado do nível alto ficou fora do gráfico do ARC Prize por causa da cobertura incompleta, e o OfficeChai informa que nenhuma nota foi publicada para ele.

A queda também não é exclusividade do Google. De acordo com o OfficeChai, o GPT-6 Astra, avaliado da mesma forma, foi de 99,9% no harness adaptador para 62,7% no padrão. Nos dois casos, a distância entre os números obriga a separar o que vem do modelo e o que vem da montagem, e o ARC Prize publica as duas colunas lado a lado.

Centavos por tarefa nas edições anteriores

Nas versões mais antigas do teste, a conta encolhe. O Argon fez 98,5% no ARC-AGI-1, a US$ 0,16 por tarefa, e 91,3% no ARC-AGI-2, a US$ 0,32 por tarefa. No ARC-AGI-3, os valores divulgados se referem à rodada inteira, por isso não se comparam diretamente com o custo por tarefa.

Todos esses custos foram calculados com o preço introdutório do Google: US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída. Tokens são os pedaços em que o texto é dividido para o modelo processar. Os de entrada correspondem ao que ele lê, os de saída ao que escreve.

O nível de raciocínio pesa muito nas edições antigas. No ARC-AGI-1, o Argon vai de 76,5% no nível baixo a 98,5% no alto. No ARC-AGI-2, de 42,1% para 91,3%. No ARC-AGI-3 com o harness adaptador, a escala se inverte de leve: 97,5% no nível baixo e 97,3% no médio e no alto. No teste mais novo, pensar mais não rendeu pontos.

Os números oficiais têm pequenas divergências entre si. O texto da página do modelo aponta 91,2% como melhor resultado no ARC-AGI-2, enquanto a tabela de notas verificadas mostra 91,3%. No ARC-AGI-3, a tabela geral lista 97,46%, valor que não coincide exatamente nem com os 97,5% nem com os 97,3% registrados por configuração. São décimos, mas indicam que a nota da manchete depende da configuração escolhida.

Onde o Argon aparece no ranking

Na tabela geral do ARC Prize (abre em nova aba), o Argon divide o topo do ARC-AGI-1 com quase todo mundo e fica atrás de vários rivais no ARC-AGI-2. A tabela não detalha a configuração de teste de cada linha, então serve mais para indicar posição do que para uma comparação fina.

No ARC-AGI-2, os 91,3% do Argon ficam abaixo do GPT-6, do GPT-6.1 Sol, do Claude Opus 5.5 e até do GPT-5.6, lançado em julho. É no ARC-AGI-3 que ele se destaca. O Gemini 3.8 Flash, entrada anterior do Google na lista, publicada em 2 de setembro, aparece com 35%. A diferença entre os dois passa de 60 pontos percentuais, pelo menos nessa tabela.

Ampliando para o conjunto, o movimento é maior que o do Google. Em julho, os registros da lista no ARC-AGI-3 não passavam de 31%. Em setembro e outubro, três entradas superaram 95%.

A régua da Epoch AI

A Epoch AI (abre em nova aba), que mantém um índice próprio de capacidades de modelos, o Epoch Capabilities Index, chega a um retrato parecido, segundo o The Decoder. Nessa régua, o Argon soma 165 pontos, empatado com o Fable 5.1 e logo atrás do Claude Opus 5.5 (167) e do GPT-6 Astra (166). Estimativas iniciais da Epoch colocam o modelo em oitavo lugar no índice de matemática e em sexto no índice de engenharia de software. São números atribuídos à Epoch e repassados pelo The Decoder, sem nova medição independente, e preliminares nos dois rankings específicos.

O Google encostou no líder em um teste e segue alguns degraus atrás nos outros.

Perguntas frequentes