Cloudflare lança Clef-omni, modelo aberto que julga áudio e vídeo em uma chamada

No dia 9 de outubro de 2026, a Cloudflare (abre em nova aba) lançou o Clef-omni, um modelo de inteligência artificial que aceita áudio e vídeo como entrada, junto com texto e imagem, e devolve uma resposta para cada alternativa que você lhe apresentar. Os pesos do modelo, ou seja, o "cérebro" treinado que pode ser baixado e executado, estão publicados no Hugging Face (abre em nova aba) sob licença Apache-2.0, que permite uso comercial. Na versão hospedada pela própria Cloudflare, no serviço Workers AI (abre em nova aba), o preço sai a US$ 0,15 por milhão de tokens de entrada.

Tokens são as unidades em que o modelo lê o material: pedaços de texto, de áudio ou de vídeo convertidos em números. Um milhão de tokens equivale aproximadamente a um livro médio de bolso. A cobrança é em dólar, e o valor é cobrado só pelo que entra no modelo, porque o Clef-omni não escreve nada na saída.

Decidir não é conversar.

Um juiz de múltipla escolha, não um redator

A maior parte das ferramentas de IA que o público conhece funciona como um redator: você pergunta, ela escreve um parágrafo. O Clef-omni funciona como um examinador de prova objetiva. Você fornece o material (uma ligação gravada, um vídeo, uma imagem, um texto em JSON, que é um formato estruturado de dados) e uma lista de respostas permitidas. O modelo devolve, em uma única passada de cálculo, uma probabilidade para cada resposta possível. Ele nunca sai dessa lista.

Isso serve para tarefas de classificação e pontuação. Os próprios números de desempenho divulgados pela Cloudflare sugerem os usos esperados: identificar a intenção do cliente em perguntas de banco (teste chamado BANKING77), classificar pedidos de atendimento (CLINC150+OOS) e avaliar resultados de busca de produtos (Amazon ESCI). Há também um teste de detecção de phishing no conjunto da família.

Para quem monta sistemas que precisam de uma decisão rápida e repetível, como rotear uma ligação, marcar um arquivo como suspeito ou escolher uma resposta entre cinco opções pré-aprovadas, o modelo economiza todo o trabalho de ler e avaliar um texto gerado por outra IA. A resposta já vem pronta, na forma de números.

A família ganhou um irmão multimodal

O Clef-omni é o terceiro membro da linha Clef, que a própria empresa chama de modelos de decisão. O anúncio explica que o Clef e o Clef-flash, versões só de texto, haviam sido lançados na semana anterior. No mesmo dia da estreia do novo modelo, a Cloudflare cortou o preço do Clef-flash de US$ 0,09 para US$ 0,038 por milhão de tokens de entrada, o que o deixa mais barato que o Jev, um modelo de referência citado nos benchmarks, e acelerou o Clef.

A empresa atribuiu essa aceleração ao aprimoramento da camada de serviço de execução do modelo, com contribuições ao projeto SGLang, que organiza como o modelo roda no servidor. Em rede social oficial, a Cloudflare resumiu o pacote:

Estamos ampliando a família de modelos de decisão Clef com o Clef-omni, que processa áudio, vídeo, imagens e texto nativamente em um único pipeline. Também reduzimos o preço do Clef-flash e aceleramos a inferência do Clef em até 2,0x.

— Cloudflare (@Cloudflare), 9 de out. de 2026, no X

Por dentro: 30 bilhões de parâmetros, 3 bilhões acordados

O Clef-omni não saiu do zero. A Cloudflare partiu de um modelo aberto pronto, o Qwen3-Omni-30B-A3B-Instruct (abre em nova aba), e o reajustou para a tarefa de decisão. A arquitetura é do tipo MoE, "mistura de especialistas": o modelo tem 30 bilhões de parâmetros no total, mas só cerca de 3 bilhões são ativados em cada consulta, como uma empresa com muitos departamentos em que cada caso mobiliza apenas alguns setores. Isso reduz o custo de processar cada pedido.

O ajuste foi feito congelando o núcleo do Qwen3 e treinando camadas adicionais leves (a técnica chamada LoRA), com um treinamento voltado para calibrar bem as probabilidades de saída, segundo a descrição da Cloudflare. Um detalhe curioso: como o modelo original do Qwen também sabia falar em voz alta, os pesos da parte de geração de fala continuam dentro do arquivo baixado, mas o código de carregamento do Clef-omni simplesmente não os ativa.

Dois formatos de áudio são aceitos (WAV e MP3) e dois de vídeo (MP4 e WebM). Os vídeos são amostrados a 2 quadros por segundo, de acordo com a ficha do modelo no Hugging Face.

Latência: dois números oficiais que não combinam

Quanto tempo leva para decidir? Depende de qual página oficial você consultar. O blog da Cloudflare afirma que decisões só de texto retornam em cerca de 130 milissegundos na mediana, imagens em torno de 150 ms, clipes de áudio em algumas centenas de ms e um vídeo de 21 segundos com som em cerca de 1,5 s. O registro de mudanças do Workers AI, publicado no mesmo dia, traz valores bem menores: cerca de 20 ms para texto, menos de 100 ms para imagem ou áudio, e cerca de 300 ms para o mesmo vídeo de 21 segundos.

A divergência permanece sem reconciliação pública entre as duas fontes, ambas da própria Cloudflare. O que se pode afirmar com segurança é a ordem de grandeza: decisões de texto caem na casa de milissegundos, e até um vídeo curto com som é processado em poucos segundos. Nenhum número foi aferido por terceiros.

Preço, contexto e a regra dos 24 mil tokens

A tabela abaixo reúne os preços e limites da versão hospedada, conforme a documentação do Workers AI:

O contexto é a capacidade de leitura de uma consulta só. A Cloudflare reduziu o contexto hospedado do Clef-flash de 64 mil para 24 mil tokens, uma troca deliberada para baratear o modelo, e justifica o corte com um dado próprio: apenas 0,24% das requisições passam de 24 mil tokens. Textos mais longos que o limite são truncados na entrada.

Quem hospedar os pesos por conta própria tem mais folga: a documentação indica que os pesos suportam até 256 mil tokens de contexto, com limite padrão de 64 mil no código. O preço disso é hardware pesado. O teste oficial de auto-hospedagem foi feito em uma única GPU H200, com cerca de 64 GB de memória de vídeo em bfloat16, um formato numérico de precisão reduzida usado para economizar memória. Quem roda localmente paga só o custo da máquina, não o token.

O que os testes mostram, e quem pagou a conta deles

Todos os números de precisão divulgados vêm de testes internos da Cloudflare, rotulados como "Decision Index 0.2.1" pela empresa. No teste de intenções CLINC150+OOS, o Clef-omni marcou 97,7 de macro-F1, uma medida que equilibra acertos entre categorias diferentes, mesmo desbalanceadas. No BANKING77, alcançou 94,8. Nos resultados de busca da Amazon ESCI, 57,8. Nos testes da família Clef, foi o melhor do grupo nesses três conjuntos, mas não nos demais.

Os números também expõem limites claros. Em um teste de raciocínio científico difícil (GPQA Diamond), o Clef-omni marcou 47,4 de acerto, contra 78,3 do Jev. Em outro conjunto (POP909-CL), ficou em 2,6, contra 18,1. Isso reforça o desenho da ferramenta: ele é feito para classificar, não para raciocinar como um modelo generalista.

Há uma segunda ressalva sobre a origem dos dados. O MarkTechPost (abre em nova aba), que cobriu o lançamento dois dias depois, deixou registrado que a cobertura é secundária, baseada nos materiais da Cloudflare e da ficha do modelo, sem benchmark independente. Até a data deste texto, nenhum teste de terceiros sobre a precisão do modelo foi encontrado publicado. Um número de macro-F1 que a própria fabricante calcula merece leitura com a mesma cautela que se teria com a nota que a montadora dá ao próprio carro.

Limites que vêm anotados no manual

A lista de restrições é curta e documentada:

• O modelo não gera texto livre; só pontua as opções que você listar.
• Na versão hospedada, o contexto é de 64 mil tokens; textos maiores são cortados.
• Vídeos são lidos a 2 quadros por segundo, então cenas rápidas podem perder detalhe.
• Auto-hospedagem exige uma GPU de grande porte, testada oficialmente em um H200 com cerca de 64 GB de memória.

A disponibilidade na nuvem da Cloudflare se dá pelo identificador @cf/cloudflare/clef-omni no Workers AI, com compatibilidade com o System One API e o AI Gateway, serviços da própria empresa para controlar chamadas de IA.

O pacote, portanto, é concreto: um modelo aberto de US$ 0,15 por milhão de tokens de entrada, que lê quatro tipos de mídia e responde em milissegundos ou segundos, conforme a fonte oficial consultada. O que ainda não existe é a prova fora de casa: a precisão divulgada até agora tem a assinatura de quem vende o produto, e os testes independentes que confirmariam ou corrigiriam esses números não haviam sido publicados até o encerramento desta apuração.

Perguntas frequentes