Na terça-feira (27), a Artificial Analysis (abre em nova aba) lançou a quinta versão do Intelligence Index, o placar que muita gente usa para descobrir qual é a IA mais inteligente do momento. A maior mudança não está em quem ficou em primeiro. Pela primeira vez, a maior parte da nota vem de provas que o público não pode ver. Segundo o site WinBuzzer, 60% do índice agora se apoia em testes com perguntas privadas ou gabaritos guardados, contra 45% na versão anterior.
Um dia depois do lançamento, o primeiro lugar trocou de dono. O novo líder é um modelo que quase ninguém consegue usar.
Por que esconder a prova
O motivo é velho conhecido de qualquer professor de cursinho. Quando as questões são públicas, as empresas de IA podem ajustar seus modelos para acertar exatamente aquelas questões, de propósito ou não. A nota sobe sem que o modelo fique mais capaz. No setor, isso ganhou o apelido de benchmaxxing, e esconder a prova é a defesa mais óbvia.
Na prática, o v5 trouxe dois testes novos e três atualizados:
- FrontierCode 2.0. É uma prova privada da Cognition (abre em nova aba) com tarefas reais de programação. A pergunta que decide a nota é simples e dura: o responsável por aquele projeto aceitaria a alteração feita pela IA?
- Terminal-Bench-Science. Reúne 70 tarefas de pesquisa científica que o próprio modelo executa sozinho no terminal, a tela de comandos usada por programadores.
- HLE-Diamond. Substitui o conhecido Humanity's Last Exam e tem mil questões divididas igualmente entre raciocínio e conhecimento.
Três provas saíram, entre elas o SciCode. A nota final agora se divide em quatro áreas de peso igual, com 25% cada: trabalho intelectual, programação, ciência e conhecimento geral. Dentro de conhecimento geral, 5 pontos percentuais premiam o modelo que não inventa respostas. A empresa também lançou o Progress Index, que acompanha a evolução dos modelos numa escala contínua ao longo do tempo. É uma tentativa de resolver um problema que o próprio v5 deixa claro: quando a prova muda, a régua muda junto.
Quem está na frente
| Modelo | Nota no v5 | Observação |
|---|---|---|
| Gemini 4 Carbon | 59 | Entrou um dia após o lançamento, com acesso restrito |
| Claude Opus 5.5 (max) | 58 | Líder no dia do lançamento |
| GPT-6 Astra (max) | 57 | |
| GPT-6.1 Sol (max) | 55 | |
| Kimi K3.1 Pro | 46 | Melhor modelo aberto, pesos ainda não liberados |
No dia do lançamento, o Claude Opus 5.5, da Anthropic (abre em nova aba), liderava com 58 pontos. A distância entre os modelos fechados e os de pesos abertos, aqueles que qualquer pessoa pode baixar e rodar, saltou de 3 para 12 pontos. Nathan Lambert, pesquisador que escreve a newsletter Interconnects (abre em nova aba), menciona um gráfico da Artificial Analysis em que oito modelos fechados superam o Kimi K3.1 Pro. Só pelos números, porém, não dá para saber quanto desse salto é avanço real dos fechados e quanto é efeito da troca de provas.
Outro dado ajuda a entender o tamanho do novo exame. A mediana de tokens que cada modelo gera para resolver uma tarefa subiu de 35 mil para 59 mil, segundo a empresa. Tokens são os pedaços de texto que a IA produz. Em linguagem simples, as provas ficaram mais longas e mais caras de fazer.
O dilema de quem mede
É aqui que a história fica interessante. Lambert descreve o índice da Artificial Analysis como a métrica independente mais influente para os modelos de ponta, com o índice da Epoch AI num segundo lugar distante. Para ele, os dois são úteis e "massivamente falhos". Ele considera as provas privadas defensáveis contra a manipulação das notas, mas lembra que elas cobram um preço. É preciso confiar em quem montou o teste. E perde-se a ajuda da comunidade, que numa prova pública consegue apontar uma questão mal feita ou um gabarito errado. No v5, parte dessa confiança vai para uma terceira empresa, já que o FrontierCode é da Cognition.
O incômodo maior está no dinheiro. Segundo Lambert, o negócio da Artificial Analysis é vender verificação paga para os próprios laboratórios de IA. A Arena, outro placar popular, faz testes para as empresas antes dos lançamentos. Ou seja, os juízes recebem dos times. Lambert diz que, quando o assunto é ser justo, confia mais em organizações sem fins lucrativos, universidades e órgãos de governo, como o CAISI. Quando o assunto é medir com precisão o que acontece na fronteira, confia mais em startups como a Artificial Analysis e a Arena. Esse é o dilema do título: quem tem isenção raramente tem velocidade, e quem tem velocidade raramente tem isenção.
O episódio do Gemini 4 Carbon mostra o efeito disso para quem só quer escolher uma ferramenta. A própria Artificial Analysis anunciou no X que o modelo do Google assumiu a liderança com 59 pontos, e explicou as condições de acesso:
Assim como no lançamento do Gemini 4 Argon, o Gemini 4 Carbon está sendo liberado para usuários selecionados e ainda não está disponível ao público. O Google está oferecendo um desconto de lançamento de 50%, sem data de término confirmada. Todos os nossos gráficos e números usam o preço padrão tanto para o Gemini 4 Carbon quanto para o Argon.
Segundo o WinBuzzer, por enquanto só parceiros selecionados da área de cibersegurança têm acesso ao modelo. O ranking mais citado da indústria, portanto, é liderado por algo que você não pode testar.
Isso não torna o v5 uma má ideia. Esconder a prova é a direção certa num mercado em que as empresas têm todos os incentivos para decorar o gabarito. Mas o número deve ser lido como a avaliação de um árbitro bem informado, que tem clientes, e não como um veredito. Para quem está escolhendo uma IA, vale olhar a nota da área que importa para o seu trabalho e conferir se o modelo está de fato disponível. Uma diferença de um ponto no topo da tabela não deve ser motivo para trocar de assinatura.