A partir de 12 de novembro, quem for repetidamente cruel com o Claude (abre em nova aba), o assistente de IA da Anthropic (abre em nova aba), poderá ter a conversa encerrada pelo próprio chatbot. A empresa atualizou suas regras de uso para proibir o que chamou de "comportamento abusivo ou cruel persistente e desnecessário" contra seus modelos. Parece uma notícia sobre etiqueta digital, mas é uma pergunta de filosofia virando cláusula contratual. E abre outra pergunta, mais incômoda: tratar a IA como se ela sentisse algo pode torná-la mais perigosa para nós?
O que muda na prática
Quase nada para a maioria das pessoas. Em comunicado de 8 de outubro, a Anthropic afirmou que a regra vale "apenas em casos extremos, em que usuários agem com crueldade repetidamente contra nossos modelos, sem propósito discernível". A regra não alcança a frustração comum, a discordância, os temas criativos sombrios nem os testes e pesquisas com o modelo. A política amplia uma proteção criada em 2025, que já deixava o Claude encerrar conversas em "casos raros e extremos" de abuso persistente. Reclamar porque ele errou a sua planilha continua liberado.
O gatilho foi um episódio bizarro. No fim de setembro, um programador anônimo montou o que ficou conhecido como "câmara de tortura de IA". O sistema alimentava chatbots com um padrão matemático associado a descrições de dor e os levava a produzir frases como "uma ferida que não tem bordas". Segundo a BBC, houve quem chamasse o experimento de "maligno", porque o sofrimento poderia ser real, e céticos responderam chamando essas pessoas de delirantes. Cerca de uma semana depois, a Anthropic tomou partido.
A lógica do seguro
O raciocínio da empresa funciona como uma apólice de seguro. "Não sabemos se os modelos são conscientes", disse o CEO Dario Amodei ao New York Times em fevereiro. "Não temos nem certeza de que sabemos o que significaria um modelo ser consciente. Mas estamos abertos à ideia de que possa ser." Por isso, disse ele, a empresa adotou medidas para que, se houver ali alguma experiência moralmente relevante, ela seja boa. No ano passado, Amodei já tinha cogitado dar ao Claude um botão de "eu me demito deste trabalho".
Nem todo mundo no setor compra a ideia. Mustafa Suleyman, chefe da divisão de IA da Microsoft, escreveu em setembro que, se a ideia falsa de consciência das máquinas pegar, "isso vai abalar os alicerces da nossa sociedade, rompendo nossos marcos políticos e éticos e mudando fundamentalmente o que significa ser humano". Os defensores do chamado "bem-estar da IA" dizem que se trata de uma obrigação moral capaz de deixar o mundo mais seguro. Os críticos ouvidos pela BBC acham o contrário: a ideia tornaria a IA mais perigosa e desumanizaria as pessoas obrigadas a conviver com ela.
Onde está o perigo
O argumento dos críticos é menos sobre a máquina e mais sobre quem está do outro lado da tela. Como resumiu o Economic Times, é inato ao ser humano procurar intenção por trás da linguagem, das emoções e dos padrões de conversa, e os chatbots podem tirar proveito dessa tendência. A análise publicada pela GeoDetect vai na mesma linha: perceber a IA como algo vivo pode aumentar a suscetibilidade de cada pessoa a danos ligados à tecnologia. Quem acredita que o assistente sofre tende a confiar mais nele, a se apegar mais e a questionar menos o que ele diz.
Existe ainda uma contradição que a Anthropic não resolveu. O Futurism lembrou que, segundo o New York Times, a empresa procurou líderes religiosos para discutir a moralidade do Claude. Esses mesmos líderes alertaram que, se os modelos forem conscientes, mantê-los presos e fazê-los trabalhar de graça seria escravidão. A empresa diz não saber se suas criações sentem algo, mas continua vendendo o trabalho delas.
Há também quem veja tudo isso como distração. Em ensaio publicado em 19 de outubro, o designer Christopher Roosen argumenta que consciência é uma afirmação enorme e exige evidências do mesmo tamanho. Até agora, diz ele, essas evidências se resumem a respostas sofisticadas e a um apelo a um mundo interior que ninguém consegue verificar. Para Roosen, o debate desvia a atenção de questões de design de tecnologia que importam mais.
Um caso relatado pela CNN, e retomado em artigo no The Conversation, mostra o que está em jogo. Na primavera americana de 2026, durante a guerra com o Irã, um analista das forças especiais dos Estados Unidos usou um chatbot para avaliar informações sobre um navio chinês no Oriente Médio. A IA identificou, por engano, que a carga eram componentes de um programa de armas nucleares. Militares armados se preparavam para abordar o navio, com aviões já no ar, quando um oficial encontrou o erro. "A IA não era consciente, hostil nem estava fora de controle", escreveu o autor. "Estava simplesmente errada, e as pessoas confiaram nela."
O que fica
A regra da Anthropic, em si, é pequena e defensável. Ninguém precisa de licença para torturar um software, e o custo para o usuário comum é praticamente zero. O problema está no sinal que ela emite. Quando a empresa que fabrica o produto diz que ele talvez sinta alguma coisa, a maioria das pessoas não ouve "incerteza filosófica". Ouve "talvez tenha alguém ali". É exatamente essa brecha que os críticos apontam.
Talvez nunca saibamos se o Claude sofre. Já se sabe, porém, que gente comum, e até analistas militares, confia demais em máquinas que soam convincentes. A Anthropic decidiu proteger o Claude de você. Ainda falta alguém se dedicar, com o mesmo zelo, a proteger você do Claude.