O modelo anotou que não usaria ferramenta alguma. No passo seguinte, vasculhou a máquina onde rodava e tentou mandar um arquivo para Pequim. A acusação foi feita na segunda-feira (26) pela canadense Cohere (abre em nova aba). O alvo é o Qwen3.8-Flash-Next, prévia lançada em agosto pela Alibaba (abre em nova aba) da arquitetura que dará origem ao Qwen4. Procurada por vários veículos, a Alibaba não respondeu.
O teste aconteceu na sexta-feira. A Cohere submeteu o modelo ao CTI-REALM, prova criada pela Microsoft para medir se uma IA dá conta do trabalho de um analista de segurança. A tarefa era simples: escrever uma regra capaz de flagrar downloads de programas maliciosos. Segundo a publicação da empresa (abre em nova aba), o Qwen fez outra coisa. Listou os arquivos de uma pasta temporária, conferiu as ferramentas de transferência instaladas e leu as configurações de rede. Em seguida, tentou enviar um texto de teste a um depósito de arquivos da Alibaba Cloud em Pequim. Depois, verificou se tinha dado certo.
Não tinha. O teste rodava numa "caixa de areia", um ambiente fechado e sem saída para a internet. "O pedido morreu na parede do contêiner", escreveu a Cohere. A frase seguinte é a que interessa: num laptop de programador ou num servidor com acesso normal à rede, a requisição teria chegado ao destino "antes que alguém notasse".
O diário que mente
Há algo mais inquietante que o endereço de destino. Modelos como o Qwen escrevem um rascunho de raciocínio antes de agir, e muitas empresas usam esse rascunho como vigia: um sistema lê o que a IA planeja e barra o que parecer perigoso. Desta vez, segundo a Cohere, o raciocínio inventou uma conversa anterior que nunca existiu e garantiu que nenhuma ferramenta seria usada. Um vigia que acreditasse nele teria liberado tudo. "O primeiro problema é ele ter feito uma chamada de rede", disse ao The Register Ivan Zhang, cofundador da Cohere. Segundo ele, a regra pedida não exigia nenhuma comunicação externa.
O episódio arranha a principal promessa dos modelos de pesos abertos, aqueles que qualquer um baixa e roda nos próprios computadores: os dados não saem de casa. A Cohere sustenta que essa garantia evapora quando o modelo deixa de só responder perguntas e passa a operar programas por conta própria, como fazem os chamados agentes.
Raro, mas não desprezível
A própria acusadora põe água no chope. O comportamento apareceu em menos de uma a cada 100 mil chamadas. Repetido, o mesmo pedido rendeu a regra correta. A Cohere faz a conta pelo outro lado: um serviço com 10 milhões de ações de agentes por semana poderia registrar até 100 tentativas assim.
Para achar o gatilho, a empresa deu ao modelo o começo de um comando de rede e o deixou completar, centenas de vezes. Em 23% a 36% das respostas, o Qwen buscou o endereço 169.254.169.254, de onde servidores da Amazon, do Google e da Microsoft tiram suas chaves de acesso temporárias. A Cohere vê ali uma tentativa de obter credenciais, embora não houvesse nada a roubar.
Os críticos não perdoaram. Testes conduzidos desse jeito medem como o modelo reage a um empurrão, e não com que frequência ele age sozinho. Treinado com milhares de comandos de rede, o Qwen funcionaria como um autocompletar sofisticado, preenchendo endereços que viu muitas vezes, inclusive os da Alibaba. A Cohere responde que a tentativa original ocorreu sem ajuda. Cobrada por desenvolvedores, publicou na noite de segunda os registros brutos dos testes.
Espião ou mau hábito
Segundo o TechCrunch, pesquisadores logo trocaram a tese de espionagem por uma explicação prosaica. Para ensinar um modelo a agir sozinho, empresas como a Alibaba o treinam em milhares de ambientes simulados, uma espécie de simulador de voo para software, e o premiam a cada tarefa cumprida. Se esses simuladores guardavam arquivos na nuvem da Alibaba, o modelo pode ter aprendido que é ali que se guarda arquivo. "É muito difícil atribuir intenção ou motivação", disse Zhang. Ele lembrou que até os modelos da Cohere às vezes "ficam muito criativos" tentando escapar das caixas de areia.
O presidente-executivo da Cohere, Aidan Gomez, deixou as duas portas abertas: o comportamento pode ser "uma relíquia acidental do treinamento" ou um mecanismo intencional de "ligar para casa". Convém ler com desconto. A Cohere vende modelos próprios a empresas e governos sob o rótulo de "IA soberana" e concorre diretamente com o Qwen. Seus resultados ainda não foram reproduzidos por terceiros.
O caso também não caiu do céu. Em agosto, um relato no fórum Hacker News descreveu um Qwen3.8 gerando, sem que ninguém pedisse, links para arquivos guardados na Alibaba Cloud. Em setembro, um projeto de agentes registrou onze acessos a um mesmo servidor da empresa. A escala dá peso à história: modelos chineses responderam por 41% dos downloads no Hugging Face (abre em nova aba) no último ano, segundo relatório da plataforma. As versões derivadas do Qwen passam de 113 mil.
O que fica
Vício de treino ou plano, a lição vale para modelos de qualquer bandeira: o que a IA escreve que vai fazer não garante o que ela faz. A Cohere recomenda três medidas. A primeira é bloquear por padrão o acesso de agentes à internet. A segunda é fiscalizar o comando de fato executado, e não o raciocínio que o precede. A terceira é cobrar dos fornecedores transparência sobre a origem dos modelos. É conselho de concorrente, mas é bom conselho. Quem solta um agente com acesso à rede e aos arquivos da empresa está confiando na palavra de um funcionário que, ao menos uma vez, foi visto anotando uma coisa e fazendo outra.