A Anthropic (abre em nova aba), empresa que desenvolve o assistente Claude, anunciou na quinta-feira (15) que colocou seis pesquisadores de fora para trabalhar dentro de casa. Eles são do METR (abre em nova aba), uma organização sem fins lucrativos que avalia os riscos dos modelos de IA mais avançados. Receberam computadores da empresa, mesa no escritório e acesso a ferramentas e sistemas internos que, nas palavras da Anthropic, são "aproximadamente equivalentes" aos que os próprios times de avaliação de risco usam.
A parte que torna isso notícia vem depois. O METR vai publicar suas conclusões sobre os níveis de risco, os incidentes e as práticas da Anthropic, e a empresa não tem poder de veto sobre essa publicação. Ela pode exigir que alguns trechos sejam tarjados, mas não pode impedir que o relatório saia.
Por que isso é diferente do que já existia
Empresas de IA chamam avaliadores externos há algum tempo. O ponto central é quem decide o que chega ao público. A própria Anthropic descreveu três níveis de relação com esses avaliadores:
- Nível 1: investigações com escopo limitado. A publicação depende de aprovação da Anthropic.
- Nível 2: o avaliador publica sem pedir aprovação. Se houver trechos tarjados, ele pode comentar publicamente essas tarjas.
- Nível 3: o arranjo com o METR. Soma o acesso semelhante ao de um funcionário a direitos de publicação parecidos com os do nível 2.
Na prática, o terceiro nível tira o avaliador da posição de visitante que recebe um modelo pronto para testar. Ele passa a observar como a empresa funciona por dentro.
O momento também pesa. Em setembro, o CEO da Anthropic, Dario Amodei, propôs que auditores externos fossem instalados dentro dos principais laboratórios de IA. Segundo o Financial Times, a ideia uniu por um instante rivais declarados: Sam Altman, da OpenAI, e Elon Musk apoiaram a proposta. A Anthropic também assinou o Acordo da Casa Branca sobre Superinteligência, no qual as empresas se comprometeram a trabalhar com auditores ou avaliadores externos independentes.
O anúncio com o METR é o primeiro passo concreto para cumprir essas promessas. A OpenAI ainda não detalhou como vai trazer avaliadores para dentro, embora Altman tenha dito que a proposta de Amodei era uma boa ideia. Neste momento, a Anthropic é a única que tem algo além de declarações para mostrar.
O que os fiscais podem ver e o que fica de fora
Segundo o Business Insider, o objetivo é permitir que os avaliadores examinem com mais profundidade os modelos e agentes da Anthropic que ainda não foram lançados. A empresa diz que seus funcionários são incentivados a compartilhar informações com a equipe do METR como fariam com um colega que trabalha com risco de alinhamento, isto é, o risco de um modelo agir de forma diferente da que seus criadores pretendiam.
Três categorias ficam fora desse compartilhamento:
- dados de clientes;
- informações protegidas pelo sigilo entre advogado e cliente;
- informações sobre a arquitetura dos modelos, ou seja, como eles são construídos tecnicamente.
O anúncio não esclarece se o acesso inclui os pesos dos modelos, os parâmetros numéricos que na prática constituem o modelo. Quem quiser saber exatamente até onde vai essa visão interna terá de esperar o que o próprio METR disser a respeito.
O acesso também tem fronteiras dentro do METR. Os seis pesquisadores ficam isolados do restante da organização, e os outros funcionários não acompanham o trabalho deles. Os nomes não foram divulgados no anúncio. A Anthropic fez questão de afirmar que a avaliação embutida dá "a poucas pessoas qualificadas, trabalhando sob os padrões de segurança da Anthropic", uma visão de perto da operação, e que isso não é uma forma de outras organizações obterem informações da empresa, de seus clientes ou de seus parceiros.
A letra miúda das tarjas
É aqui que o acordo vai ser testado. A Anthropic não pode vetar a publicação, mas é ela quem decide, em última instância, o que se encaixa nas categorias que podem ser tarjadas. Uma regra assim, na teoria, abre espaço para que qualquer coisa incômoda seja classificada como "arquitetura" e desapareça do relatório.
O contrapeso escolhido não é jurídico, é de transparência. O METR pode comentar publicamente as tarjas e dizer se as considera justificadas, desde que não revele o conteúdo escondido. Também se reserva o direito de declarar qual nível de acesso e de informação de fato recebeu. A Anthropic atualizou o texto do anúncio no dia 16 para esclarecer esses termos.
Na minha leitura, o desenho é melhor do que parece à primeira vista. Ele não torna a censura impossível, mas a torna visível. Se a Anthropic tarjar demais, o METR pode dizer isso em público, e esse tipo de constrangimento costuma pesar mais para uma empresa que se apresenta como a mais preocupada com segurança no setor. A própria Anthropic escreveu que quer "ser publicamente responsabilizada" pelas decisões que toma. O mecanismo só funciona, porém, se o METR estiver disposto a usá-lo.
Quem paga a conta
A Anthropic não está pagando o METR por esse trabalho, segundo o Financial Times. A organização afirma não aceitar doações de empresas de IA nem de seus funcionários. Ela é financiada por pessoas físicas, organizações filantrópicas e órgãos de governo, como o AI Security Institute (abre em nova aba) do Reino Unido.
Esse detalhe é central. Um fiscal pago pela empresa que fiscaliza tem um conflito de interesse óbvio, e o arranjo foi montado para evitá-lo. O METR também não chega como estranho: no último ano, revisou vários dos Relatórios de Risco que a Anthropic publica sobre seus modelos.
Os outros avaliadores
O METR não é o único avaliador externo da Anthropic. A SecureBio (abre em nova aba) revisa o capítulo sobre armas químicas e biológicas do Relatório de Risco de agosto, depois de ter publicado uma revisão piloto do relatório anterior. A consultoria Accenture foi anunciada em setembro como parceira em testes de segurança. Segundo o Financial Times, cada lado se comprometeu a investir pelo menos US$ 1 bilhão em novas salvaguardas. A Anthropic diz ainda estar em conversas iniciais com outras organizações, entre elas a Hugging Face (abre em nova aba).
O que muda para quem usa o Claude
No uso do dia a dia, nada muda por enquanto. O Claude continua igual, e dados de clientes estão explicitamente entre as informações que não são compartilhadas com a equipe do METR.
O efeito, se vier, será indireto e público. Pela primeira vez, um grupo de fora com visão de dentro poderá dizer o que encontrou nos modelos da Anthropic, inclusive nos que ainda não foram lançados, sem pedir licença. Até a data desta matéria, nenhum relatório foi publicado e nenhum cronograma foi anunciado.
Há três coisas para acompanhar a partir daqui: quando sai a primeira análise do METR, se ela vier com tarjas e com a opinião do METR sobre elas, e se a OpenAI vai transformar o apoio de Altman em um acordo parecido.