Claude, Codex, Mantis e Cloudflare: o agente que importa é o que desmente o outro

Quem já herdou um repositório com linter mal configurado conhece a cena. São duzentos avisos amarelos, três problemas de verdade e uma tarde perdida descobrindo quais são os três. A ferramenta não mente. Ela só não tem modéstia: aponta tudo com a mesma convicção, do SQL injection ao espaço em branco, e deixa para você o trabalho de separar o alarme do incêndio.

Ao longo de 2026, Anthropic, OpenAI, Google e Cloudflare lançaram agentes que caçam vulnerabilidades em código-fonte. Cada uma por seu caminho, as quatro chegaram à mesma conclusão sobre essa cena. Segundo o resumo do MarkTechPost em 30 de outubro, o desenho que convergiu tem algo de tribunal: um agente acusa, outro agente, separado, tenta desmontar a acusação, e só o que sobrevive ganha correção. Minha tese é que essa convergência muda a pergunta que um time técnico deve fazer. Saber qual modelo fareja melhor importa menos. O que conta é quem faz o papel do cético, quanta prova ele exige e para onde o seu código precisa viajar para ser julgado.

O Google forneceu o número que justifica o tribunal. No post de lançamento do Mantis (abre em nova aba), em 2 de setembro, dois engenheiros de segurança da empresa escreveram que a varredura de código com IA feita de qualquer jeito costuma produzir bugs alucinados e taxas de verdadeiro positivo abaixo de 7%. Menos de sete em cada cem alertas. É o linter sem modéstia, agora com vocabulário de pentester e argumentação persuasiva, o que é pior. Alerta mal escrito a gente ignora. Alerta bem escrito a gente investiga, e perde a tarde.

Mesmo júri, quatro tribunais

O Claude Security (abre em nova aba), que até a primavera se chamava Claude Code Security, entrou em beta público em 30 de abril para clientes Claude Enterprise. A Anthropic (abre em nova aba) descreve um pipeline de validação em várias etapas, que examina cada achado de forma independente antes que um analista o veja. O resultado vem com confiança, severidade, impacto provável, notas de reprodução e instruções para um patch que pode ser aberto no Claude Code on the Web. Há varredura agendada, escopo por diretório ou branch, descarte de achados com motivo documentado, exportação em CSV ou Markdown e webhooks para Slack e Jira. Dos quatro, é o que mais parece produto de prateleira para o gerente de AppSec. Naquele post, o acesso para os planos Team e Max aparecia como "em breve". A página não traz preço público nem taxa de falso positivo.

Há também uma ironia que vale anotar. O Opus 4.7, modelo por trás da ferramenta, tem salvaguardas que podem bloquear usos de cibersegurança considerados de alto risco. Para quem esbarra nelas fazendo trabalho legítimo, a Anthropic oferece um Cyber Verification Program. A ferramenta de segurança, em certos casos, pode se recusar a fazer segurança.

O Codex Security (abre em nova aba), ex-Aardvark, chegou antes. Entrou em prévia de pesquisa em 6 de março para assinantes ChatGPT Pro, Enterprise, Business e Edu. A OpenAI (abre em nova aba) diz que ele monta um modelo de ameaça editável, procura vulnerabilidades, testa os achados em sandbox quando possível e propõe patches alinhados à intenção do sistema. Segundo o MarkTechPost, o cliente de linha de comando é Apache-2.0 e também existe como SDK e GitHub Action. A varredura, porém, continua dependendo de acesso à OpenAI, com Bedrock, OpenRouter e Fireworks listados como rotas. É código aberto na porta e catraca no corredor.

O Mantis vai pelo lado oposto. É um harness open-source sob Apache-2.0, que o Google diz fazer parte da sua abordagem interna, e cobre descoberta, triagem, reprodução e patch. Ele lê o histórico do repositório para aprender com correções de segurança passadas e gera documentação de arquitetura e modelo de ameaça quando não existe nenhuma. Também monta uma árvore hierárquica de resumos de segurança que, segundo o Google, reduziu o gasto de tokens em mais de 85%. O preço dessa liberdade é logístico. A sandbox de reprodução é sua, o critério de aceitação de vulnerabilidade é seu, e o próprio Google recomenda isolar a ferramenta.

A Cloudflare (abre em nova aba) começou menor e, talvez por isso, publicou o relato mais útil. O ponto de partida foi uma skill de cerca de 450 linhas (abre em nova aba), MIT e agnóstica de modelo. Ela orquestra agentes isolados por reconhecimento, caça, validação adversarial e saída estruturada. No fim, um agente novo, que não viu nada antes, verifica tudo de novo. Em cerca de seis semanas, a skill virou um harness de frota que cobre 128 repositórios, sem ajuste por linguagem e rastreando dependências entre repositórios. A versão pública é o ponto de partida para um único repositório, não o sistema de frota, e não gera patch.

O placar que ninguém consegue conferir

Os números existem, e são todos da casa. A OpenAI diz ter varrido mais de 1,2 milhão de commits em 30 dias, com um grupo externo de beta. Foram 792 achados críticos e 10.561 de alta severidade, e problemas críticos apareceram em menos de 0,1% dos commits. Segundo a empresa, o trabalho resultou em 14 CVEs, com relatos envolvendo OpenSSH, GnuTLS, libssh, PHP e Chromium. A OpenAI afirma ainda que, durante o beta, os achados com severidade inflada caíram mais de 90% e os falsos positivos, mais de 50%. Caíram pela metade a partir de quanto? O texto não diz. Redução relativa sem base é como uma dieta que promete perder metade do peso sem informar o peso.

A Cloudflare foi a única a mostrar o funil inteiro. Dos 20.799 candidatos brutos da etapa de descoberta, cerca de 12.057 sobreviveram à validação. O conjunto compartilhado de validação, que incluía outro harness, chegou a 13.841. Desses, 5.442 eram duplicatas e 1.154 eram do repositório errado ou de baixo risco. Sobraram 7.245, que foram parar na mesa das equipes de engenharia. Pouco mais da metade do que entrou no conjunto validado virou trabalho de alguém. É menos glamouroso que uma lista de CVEs, e muito mais informativo para quem vai dimensionar triagem.

Do lado da Anthropic, o que existe é a informação de que centenas de organizações testaram a ferramenta em prévia limitada. Do lado do Google, não há contagem de CVEs nem benchmark independente. Fora do quarteto, há uma fila de nomes lançados em 2026: Visa VVAH, Hadrian OpenHack, Vercel deepsec, AWS Continuum, Snyk Evo, Semgrep Agentic Workflows e a parceria Patch the Planet, entre OpenAI e Trail of Bits. Todos vêm com alegações que, como observa o próprio MarkTechPost, saem dos posts de cada fornecedor, não de um benchmark comum. Nem as estrelas do GitHub fecham a conta. No mesmo 30 de outubro, a skill da Cloudflare aparecia com 47,5 mil estrelas no MarkTechPost e com cerca de 54 mil no cabeçalho do próprio repositório.

O dado mais revelador do relato da Cloudflare, porém, não é de volume. Com um contexto de reconhecimento melhor, a taxa de rejeição na primeira passada caiu de 40% para 11%, e a fatia de achados de alta integridade subiu de 35% para 58%. O ganho veio do contexto, não da troca de modelo. O Google diz a mesma coisa com outras palavras: alimente o Mantis com contexto curado por humanos, como a regra de não reportar bugs em que o usuário só consegue derrubar o próprio programa, e escreva critérios explícitos de aceitação. O cético funciona melhor quando alguém lhe entrega o regulamento.

O melhor argumento contra é velho e determinístico

O contraponto mais sério veio de quem tinha interesse direto no assunto. Cinco autores da Snyk (abre em nova aba) publicaram o VulnBench 2.0. O estudo comparou o Snyk Code, o Claude Code com o comando /security-review, o Codex Security e o DeepSec em 20 aplicações web com 108 vulnerabilidades verificadas por exploit, somando 180 execuções no início de setembro. O Snyk Code achou 89 das 108. O Claude Code com Opus 5 no esforço máximo achou 85. O teste de McNemar deu p=0,57 sobre 28 discordâncias: 16 que só o Snyk pegou e 12 que só o Opus pegou. Em linguagem de bar, deu empate técnico. O SAST tradicional, mais barato e previsível, não perdeu para o agente.

O Codex Security, com GPT-5.6 Sol, localizou 80 vulnerabilidades no nível do arquivo, mas só 34 no nível da linha. Em geral, apontava uma mediana de seis linhas acima do sink. Para um patch automático, seis linhas de erro fazem toda a diferença.

Seria honesto encerrar a discussão aqui e manter o SAST. Só que o mesmo estudo mostra outra coisa. As ferramentas de IA reportaram sete vulnerabilidades reais fora do gabarito, todas reproduzidas ao vivo. O Codex Security encontrou as sete, o Claude Code encontrou seis e o DeepSec, três. Somando isso às 28 discordâncias, que caem em bugs diferentes, a conclusão não favorece um lado. Os dois tipos de ferramenta enxergam coisas distintas. Vale lembrar, também, que o benchmark foi construído pela fabricante de um dos produtos testados, que o Claude Code ali não é o Claude Security completo e que nem o Mantis nem a skill da Cloudflare entraram na comparação.

Onde cada um cabe

Se a empresa já é cliente Claude Enterprise e precisa de painel, integração com Jira e trilha de auditoria para descartes, o Claude Security é o caminho de menor atrito. Convém testar antes se as salvaguardas do modelo vão travar o seu tipo de trabalho. Se o time já vive no ecossistema da OpenAI e quer o agente rodando no CI via GitHub Action, o Codex Security entrega o ciclo completo. Ainda assim, revise cada patch com a desconfiança que o VulnBench recomenda.

Se o código não pode sair de casa, ou se você não quer amarrar a segurança a um único fornecedor de modelo, as opções abertas são mais interessantes do que parecem. A skill da Cloudflare instala com um comando (npx skills add https://github.com/cloudflare/security-audit-skill --skill security-audit). Duas lições da própria empresa vêm junto. Uma execução isolada encontrou só cerca de metade dos bugs achados em várias rodadas, e justamente os mais simples. E uma varredura completa de um repositório complexo pode levar horas: a pior passou de 14. A ausência de patch, aliás, me parece mais virtude que defeito. É no patch que a alucinação deixa de ser alerta e vira commit. O Mantis faz sentido para quem quer o ciclo inteiro, incluindo reprodução e correção, e tem gente para montar e isolar a sandbox.

Em nenhum desses cenários eu tiraria o SAST do pipeline.

O agente que acha bug virou commodity, e os quatro fornecedores parecem saber disso, já que todos gastaram a engenharia mais fina no agente que desmente. A escolha entre eles é menos uma aposta em inteligência e mais uma decisão sobre jurisdição: quem julga, com que prova e em qual servidor. E o melhor cético da cadeia continua sendo aquele que escreve o critério de aceitação antes de ligar a máquina.