Seis pessoas receberam equipamento da Anthropic, mesa no escritório e acesso aos sistemas internos da empresa sem constar da folha de pagamento dela. São funcionários do METR (abre em nova aba), organização sem fins lucrativos que avalia modelos de fronteira. Segundo o Financial Times, a Anthropic não paga nada pelo arranjo. O anúncio saiu na quinta-feira, 15 de outubro, e usou uma expressão escolhida com cuidado: acesso "de funcionário" (employee-like).
Até onde se sabe publicamente, nenhum outro laboratório de fronteira ofereceu termos tão amplos a um avaliador externo. O METR vai publicar suas análises sobre os níveis de risco, os incidentes e as práticas da Anthropic, e a empresa não tem poder de veto. A cláusula que decide quanto isso vale, porém, aparece entre parênteses no texto do anúncio: em última instância, é a própria Anthropic quem decide o que se enquadra nas categorias que podem ser tarjadas. Por isso, a independência do avaliador depende menos do contrato do que da disposição do METR de discordar em público.
O que o crachá abre
Pelo relato da Anthropic, os seis avaliadores usam ferramentas e sistemas internos "aproximadamente equivalentes" aos das equipes de avaliação de risco da própria empresa. Os funcionários são incentivados a compartilhar informação com eles como fariam com um colega que trabalha com risco de alinhamento. O acesso, portanto, inclui pessoas, além de sistemas. A equipe opera sob acordos com força executória e fica isolada do restante do METR, que continua avaliando outras empresas.
Para quem acompanha avaliação de modelos, a mudança é de natureza, e não apenas de grau. O padrão do setor tem sido o avaliador receber um modelo antes do lançamento, por uma janela limitada, e testá-lo de fora, como caixa-preta. A Anthropic oferece agora a visão de dentro: como os riscos são discutidos, que incidentes ocorreram e que decisões foram tomadas. O METR já conhece a casa. Ao longo do último ano, revisou vários dos relatórios de risco da empresa, os Risk Reports.
O que fica do lado de fora
As exceções citadas são três: dados de clientes, informação protegida por sigilo entre advogado e cliente e informação sobre arquiteturas de modelos. O leitor técnico não deve deixar passar o "por exemplo" que antecede a lista. O comunicado da Anthropic (abre em nova aba) fala em "um pequeno número de categorias claramente definidas" e apresenta essas três como amostra. A lista completa não foi divulgada.
A exclusão dos dados de clientes é a parte tranquila e interessa diretamente a quem usa a API. Pelo que a empresa descreve, prompts e dados de produtos construídos sobre o Claude ficam fora do alcance da auditoria.
A exclusão da arquitetura merece mais atenção. Numa nota de rodapé, a Anthropic compara avaliadores como o METR a examinadores bancários, que também atendem várias instituições. Argumenta que arquitetura é o tipo de informação com alto risco de vazamento involuntário e relevância "tipicamente baixa" para a avaliação de risco. Quando a relevância for alta, a empresa diz que "em geral" vai buscar compartilhar, desde que haja aprovações internas explícitas.
"Arquitetura" é uma palavra elástica. Pode significar número de camadas e mecanismo de atenção, mas também pode ser esticada para cobrir detalhes de treinamento, de pós-treinamento ou de infraestrutura de inferência. O texto não traça essa fronteira, e num relatório de risco a diferença importa.
Publicar sem pedir licença, com a tarja à vista
Em 16 de outubro, um dia depois do anúncio, a Anthropic atualizou o post para esclarecer os termos do projeto com o METR. A versão atual descreve três níveis de relação com avaliadores externos:
- Primeiro nível: investigações de escopo estreito. A Anthropic decide o acesso, e a publicação depende de aprovação dela.
- Segundo nível: mais informação e publicação sem aprovação prévia. As tarjas existem, mas o avaliador pode dizer publicamente se as considera justificadas.
- Terceiro nível, o do METR: acesso de funcionário e direitos de publicação semelhantes aos do segundo nível.
O que sustenta o arranjo está no segundo degrau. A Anthropic pode exigir a remoção de um trecho que caia numa das categorias predefinidas, e é ela quem decide se o trecho cai. Em troca, o METR se reserva o direito de fazer "certas afirmações" sobre o nível de acesso e de informação que recebeu.
Para um desenvolvedor, a comparação mais próxima é a diferença entre apagar uma linha do log e registrar no log que uma linha foi apagada. A tarja continua visível e pode vir acompanhada de uma nota dizendo que não deveria estar ali. O adjetivo "certas", no entanto, não foi detalhado. Ninguém fora das duas organizações sabe quanto o METR pode dizer.
É um freio real, mas de reputação, não de contrato. Só funciona se o METR estiver disposto a usá-lo contra uma empresa com quem trabalha há mais de um ano. Essa empresa, segundo o Financial Times, se prepara para um IPO esperado ainda em 2026, com avaliação acima de US$ 2 trilhões.
Quem paga o avaliador
No dinheiro, o METR se sai bem. De acordo com o FT, a organização não aceita doações de empresas de IA nem de seus funcionários. Ela se financia com doações de pessoas físicas, organizações filantrópicas e órgãos governamentais como o AI Security Institute do Reino Unido.
A dependência que resta é de outra ordem. O METR já trabalhou com OpenAI, Google e Meta, e seu valor está justamente no acesso aos laboratórios. Ao FT, a organização disse estar pronta para trabalhar com todos os desenvolvedores de IA de fronteira para levar evidências melhores ao público. Esse interesse explica o isolamento da equipe embarcada. Também lembra que um avaliador em choque público com um laboratório arrisca o acesso aos outros. Não há indício de que isso vá acontecer, apenas o incentivo, que existe em qualquer auditoria.
Os outros parceiros da Anthropic ajudam a calibrar a comparação:
- A SecureBio (abre em nova aba) revisa o capítulo sobre armas químicas e biológicas do Risk Report de agosto, depois de ter publicado uma revisão piloto do relatório anterior.
- Com Accenture e Faculty, a empresa diz trabalhar numa parceria que inclui avaliação e red-teaming de modelos, avaliações de alinhamento e testes de salvaguardas. O FT informa que Anthropic e Accenture se comprometeram, cada uma, com pelo menos US$ 1 bilhão para montar novas salvaguardas.
- Há conversas iniciais com a Hugging Face (abre em nova aba).
Uma consultoria com compromisso bilionário ao lado da empresa avaliada e uma ONG que recusa doações do setor não deveriam ser chamadas pelo mesmo nome de "avaliador independente" sem que o leitor saiba a diferença.
Por que agora
O calendário é público. Em setembro, a Anthropic se comprometeu com avaliação independente mais forte e assinou o White House Accord on Super Intelligence, em que as empresas signatárias prometem trabalhar com auditores ou avaliadores externos. O FT atribui a Dario Amodei, CEO da Anthropic, a proposta de embarcar auditores externos nas empresas, apoiada em seguida por Sam Altman e Elon Musk. O acordo com o METR é o primeiro passo concreto. Ainda segundo o jornal, a OpenAI não apresentou planos próprios, embora Altman tenha chamado as propostas de Amodei de boa ideia.
Em nota ao FT, a Anthropic explicou o dilema. Modelos mais poderosos exigem salvaguardas mais fortes e avaliações de risco mais difíceis. A empresa diz querer prestar contas publicamente das decisões que toma, mas afirma não poder divulgar toda a informação relevante para seu trabalho de segurança. O avaliador embarcado resolve esse impasse: vê o que o público não pode ver e conta ao público o que viu. Dá para ler isso como responsabilidade ou como preparação de prospecto, e uma leitura não exclui a outra.
O melhor argumento a favor da Anthropic
O argumento mais forte é o da própria empresa, e ele tem peso:
- Toda auditoria tem escopo, e examinadores bancários também não publicam tudo o que veem.
- Um avaliador que atende vários laboratórios é um caminho plausível de vazamento entre concorrentes.
- Detalhes de arquitetura dizem pouco sobre o que mais pesa num relatório de risco: capacidades medidas, incidentes e processo de decisão.
- Exigir acesso irrestrito provavelmente resultaria em nenhum acordo, ou num de primeiro nível, com publicação condicionada à aprovação da empresa.
Diante das alternativas realistas, acesso amplo com tarjas visíveis é o melhor resultado disponível.
O argumento se sustenta em quase tudo. O problema não está na existência de exceções. Está em três pontos: a lista pública vem com "por exemplo", a empresa avaliada decide o enquadramento e o direito de resposta do METR se resume a "certas afirmações" de alcance não descrito. O texto de um contrato resolveria os três, mas o que se conhece até agora é a descrição do acordo feita pela Anthropic, não o contrato.
O que observar
- O primeiro relatório do METR. Se trouxer uma declaração sobre o acesso recebido e uma avaliação das tarjas aplicadas, o mecanismo funcionou. Se vier sem isso, o leitor terá motivo para desconfiar.
- O tamanho da categoria "arquitetura". Vale acompanhar se ela cresce e quantas vezes a aprovação interna para compartilhá-la é concedida, caso a empresa divulgue esse número.
- A resposta da OpenAI e dos demais signatários do acordo da Casa Branca. Até agora, apenas a Anthropic converteu a promessa em crachás.
- O uso por quem integra o Claude em produtos. As análises do METR sobre incidentes podem entrar na avaliação de fornecedores. Antes, essa informação dependia apenas da palavra da própria Anthropic.