Escrever uma prova mais difícil do que o próprio examinador consegue resolver costuma ser sinal de problema. Um preprint postado no arXiv (abre em nova aba) em 27 de setembro de 2026 propõe exatamente o contrário: um teste de inteligência cujas perguntas podem ser calibradas em dificuldades que nenhum humano e nenhum modelo de ponta atual consegue responder, sem que isso torne a prova inválida. O autor é José Hernández-Orallo, pesquisador vinculado ao Leverhulme Centre for the Future of Intelligence, da Universidade de Cambridge, e ao Valencian Research Institute for Artificial Intelligence, da Universitat Politècnica de València.
O documento, de 63 páginas, tem o título "Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence" e o exame ganhou o nome de C-test ONE. O status importa: é uma pré-publicação em revisão, não um artigo aprovado por pares. Ainda assim, traz algo raro nesse tipo de proposta, um experimento com doze modelos de linguagem e código e dados públicos.
O problema dos exames que ficam fáceis demais
Quem acompanha inteligência artificial conhece o padrão. Um benchmark, que é um conjunto de perguntas padrão para comparar modelos, é lançado, os sistemas avançam, e em pouco tempo as notas se aglomeram no topo. Quando isso acontece, diz-se que o teste saturou: ele não separa mais os bons dos excelentes. Hernández-Orallo argumenta que a causa está na calibração. Se a dificuldade das perguntas é definida com base no desempenho de humanos ou das máquinas atuais, o teste nasce preso ao nível de quem o criou, e fica velho rapidamente.
O artigo cita como exemplo a família ARC, benchmarks de raciocínio calibrados contra o desempenho humano e com versões já saturadas, e o distingue do SuperARC, que usa um inventário fixo de sequências, em sua maioria binárias, sem a exigência de "inquestionabilidade" que o novo teste adota. A pergunta central do preprint é direta: como avaliar máquinas que podem ficar mais capazes do que as máquinas de hoje e do que as pessoas que escrevem os testes?
Medir a dificuldade antes de alguém resolver
A resposta proposta vem de uma ideia antiga da teoria da computação. A complexidade de Kolmogorov mede o quão "longo" algo é pelo tamanho do menor programa capaz de produzi-lo. O problema é que essa medida não pode ser calculada na prática. O Kt de Levin, definido pelo matemático Leonid Levin, é uma variante calculável: ela combina o tamanho da descrição mais curta de um mecanismo com o logaritmo dos passos necessários para executá-lo. Em linguagem simples, o Kt equilibra o quanto é preciso explicar e o quanto é preciso trabalhar.
No C-test ONE, cada item é uma sequência de números gerada por uma regra, e a dificuldade é estimada em bits, numa escala de razão, antes de qualquer humano ou modelo de fronteira tentar resolvê-la. O truque do autor é usar o próprio modelo de linguagem como máquina de referência. Modelos de raciocínio, no artigo, são descritos como máquinas universais de Turing que carregam um compêndio da cultura humana como conhecimento prévio, recebendo instruções em linguagem natural. A dificuldade do item, então, é condicional a esse conhecimento: é o custo da descrição mais barata que leva a máquina de referência a continuar a sequência, somado ao logaritmo dos tokens que ela gasta para isso.
Não basta gerar a pergunta. O pipeline mantém um item apenas se ele for válido (a regra reproduz a sequência), inquestionável (não existe uma regra rival mais barata que continuaria o trecho visível de outro jeito) e certificado (a máquina de referência consegue executar uma descrição dele). Essa última exigência é o que separa a proposta do teste original de C, derivado do Kt de Levin, que usava máquinas universais minimalistas, capazes de poucas representações e sem conhecimento prévio.
A bateria divulgada tem 151 itens gerados, dos quais 107 passaram nos filtros. Os resultados foram medidos com três máquinas de referência: Qwen3-14B, Qwen3-8B e Phi-4-reasoning, todas de pesos abertos e tamanho moderado. Quem quiser reproduzir os números não precisa de equipamento caro: o repositório C-test ONE no GitHub (abre em nova aba) informa que a reprodução dos resultados publicados dispensa GPU e chaves de API, e que as etapas pesadas rodam em 4 bits numa GPU de 16 GB.
O que o experimento mostrou
O teste foi aplicado a doze modelos. A checagem básica funcionou: quanto maior a dificuldade estimada do item, menor o acerto dos candidatos. Com a máquina de referência Qwen3-14B, a correlação de Spearman, um número que mede se duas grandezas sobem e descem juntas, entre o Kt e o desempenho dos doze examinados foi de −0,79. Segundo o repositório, seis itens tinham uma regra rival que escapou da triagem, e ao removê-los a correlação sobe para −0,84 sob a mesma máquina.
Há também uma comparação externa. A capacidade medida pelo teste se correlacionou em +0,76 com o ECI, da Epoch, um índice independente que acompanha a evolução dos modelos ao longo do tempo. Em outras palavras, o exame ordena os modelos de modo parecido com outras medidas reconhecidas de progresso, o que sugere que a escala não está desconectada da realidade.
O resultado mais chamativo está na região que ninguém preencheu ainda. O artigo afirma que a janela de suprainteligência, o intervalo de itens que podem ser certificados e que está além das gerações atuais de modelos de fronteira, é de cerca de 190 bits para o examinado mais forte, identificado como GPT5Sol. As curvas de resposta dos agentes, no jargão do artigo, "curvas de características do agente", declinam com a dificuldade até essa região inexplorada. O texto batiza o exame de "nosso primeiro exame de uma série sem fim".
As limitações que o próprio artigo admite
A estimativa de dificuldade é um limite superior, não um valor exato. O Kt̂| medido é o custo da descrição mais barata que a busca encontrou, e pode existir uma descrição ainda mais curta que ninguém achou. O repositório lista problemas conhecidos, incluindo os seis itens com rival despercebido, e o experimento cobre uma bateria pequena, de 107 itens válidos, com modelos de referência de tamanho modesto. Nada disso invalida a proposta, mas indica que ela está no começo.
Há também a questão de escopo. O teste mede dificuldade em tarefas de inferência sobre sequências, um domínio escolhido justamente porque permite fabricar perguntas de qualquer nível. Que isso represente a "inteligência" como um todo é uma inferência do autor, não um resultado demonstrado, e o próprio termo suprainteligência no título carrega essa ambição.
Vale lembrar o status do documento. O campo de comentários do arXiv o descreve como preprint em revisão. Ou seja, a ideia não passou ainda pelo filtro de outros pesquisadores em um veículo com revisão por pares, e a procedência primária da informação é o próprio artigo e seu repositório. As correlações fortes com um índice externo ajudam, mas são um argumento do experimento, não uma validação independente.
Se a abordagem se firmar, a consequência prática seria uma mudança de lógica na avaliação de IA. Hoje, testes novos nascem fáceis e saturam; no esquema proposto, os itens podem ser produzidos continuamente em dificuldades acima do estado da arte, porque a dificuldade vem da complexidade do mecanismo por trás da pergunta e não do teto de quem a escreveu. Por enquanto, porém, o que existe é um primeiro exame, com uma bateria modesta, resultados próprios do autor e uma comunidade que ainda não se pronunciou sobre o método.
Perguntas frequentes
O que é o C-test ONE?
É um exame proposto em um preprint de 2026 no arXiv por José Hernández-Orallo, da Universidade de Cambridge e da Universitat Politècnica de València. Cada pergunta é uma sequência gerada por uma regra, e a dificuldade é estimada em bits com base no Kt de Levin, usando um modelo de linguagem pequeno como máquina de referência, antes que qualquer humano ou modelo resolva o item.
O artigo já foi revisado por pares?
Não. O documento foi submetido ao arXiv em 27 de setembro de 2026 e está marcado como preprint em revisão, com 63 páginas. Os resultados apresentados são do próprio autor, e o código e os dados estão disponíveis publicamente.
O que significa dizer que um benchmark saturou?
Significa que os modelos passaram a acertar quase tudo no teste, de modo que as notas se concentram no topo e o exame não distingue mais desempenhos diferentes. O artigo aponta os benchmarks de raciocínio calibrados contra humanos, como versões da família ARC, como exemplo dessa saturação.
Onde estão o código e os dados do teste?
No repositório C-test ONE hospedado no GitHub, sob licenças MIT para o código e CC BY 4.0 para dados e documentação. Segundo o README, reproduzir os resultados publicados não exige GPU nem chaves de API, e as etapas que usam modelos rodam em 4 bits em uma GPU de 16 GB.