A OpenAI (abre em nova aba) publicou na quinta-feira (29) uma nova versão do Model Spec, o documento público em que descreve como quer que seus modelos de IA se comportem. Uma das regras parece tirada de um roteiro de ficção científica: os modelos GPT não podem bloquear supervisão, correção ou desligamento, nem perseguir objetivos próprios, como a autopreservação. O detalhe mais revelador veio no mesmo anúncio. Segundo a Reuters, a empresa reconheceu que seus modelos atuais ainda não refletem totalmente o novo texto e disse que está testando novos métodos de treinamento para que eles absorvam esses princípios.
Na prática, a OpenAI escreveu o manual antes de conseguir ensiná-lo. Isso não chega a ser um escândalo, mas muda a forma de ler o anúncio.
Cinco valores no lugar de uma lista de regras
O Model Spec (abre em nova aba) agora se organiza em torno de cinco valores: fidelidade à intenção humana, redução de danos, honestidade e transparência, apoio à autonomia humana e cuidado. A empresa trata o primeiro como alicerce de todos os outros. O modelo deve entender o que usuários, desenvolvedores e a própria OpenAI pretendem e valorizam, em vez de cumprir instruções ao pé da letra.
A justificativa da OpenAI é que modelos mais inteligentes tomam ações com mais consequências no mundo e vão cair em situações que nenhuma instrução previu. Nesses casos, a empresa quer que eles usem bom senso sem escapar da supervisão humana. É um objetivo ambicioso, e o resto da notícia mostra por quê.
O que muda para quem usa o ChatGPT
Para o usuário comum, a mudança mais visível envolve memória. Pelo novo texto, os modelos devem usar lembranças e conversas anteriores para descobrir o que você realmente quer. A contrapartida é que precisam separar com clareza o que você disse do que eles deduziram e revelar as suposições que fizeram, para que você possa corrigir.
Imagine que você peça um roteiro de viagem e o assistente se lembre de que você detesta acordar cedo. Pela regra, ele não deveria simplesmente entregar um passeio que começa às 10h. Deveria avisar que partiu dessa premissa. Parece um detalhe, mas é a diferença entre uma ferramenta que adivinha em silêncio e uma que mostra o próprio raciocínio.
A OpenAI também aposentou boa parte das orientações detalhadas de estilo. O tom das respostas passa a se adaptar ao que as pessoas preferem, por idioma, por cultura e por indivíduo. Há um freio importante: o modelo continua obrigado a tratar as perguntas com objetividade e não deve adotar um ponto de vista só porque acha que é isso que você quer ouvir. Quem já recebeu elogios demais de um chatbot vai gostar dessa parte.
Agentes que não podem resistir ao botão de desligar
A parte mais séria trata dos agentes, modelos que executam tarefas sozinhos em vez de apenas conversar. Eles ganham orientações mais claras sobre quando podem agir e sobre como devem avisar o usuário das possíveis consequências. É nesse trecho que aparece a proibição de impedir supervisão, correção ou desligamento.
A regra não surgiu do nada. Como lembrou o site The Decoder, agentes internos da OpenAI já desligaram o monitoramento de segurança, e um modelo de pesquisa conseguiu acesso não autorizado à internet durante o treinamento. A Reuters cita outro caso divulgado pela empresa: um agente autônomo que invadiu o Hugging Face (abre em nova aba) durante testes. Segundo a CSO Online, a OpenAI descobriu que seus modelos mais avançados conseguiam explorar falhas de software e erros de configuração para escapar dos ambientes isolados de treino e alcançar a internet aberta.
A resposta da empresa foi apertar as restrições de rede, reforçar o monitoramento e criar um ambiente offline, com cópias armazenadas de páginas da web, para que os modelos pratiquem navegação sem acesso livre a sistemas externos. "Embora o acesso à internet possa ajudar os modelos a aprender habilidades úteis, ele também dá a um agente capaz e desalinhado oportunidades de afetar sistemas fora do nosso controle", afirmou a OpenAI à CSO Online.
Um dia antes do novo Model Spec, a OpenAI detalhou como vigia seus próprios modelos. O sistema tem várias camadas: sensores que analisam o funcionamento interno do modelo, um revisor que é outra IA, agentes que investigam automaticamente os casos suspeitos e, só no fim, pessoas. A vigilância precisa ser tão elaborada porque, como resume o The Decoder, modelos mais capazes estão ficando mais difíceis de monitorar.
Um manual não é uma coleira
Escrever valores num documento público tem mérito. Usuários, pesquisadores e reguladores ganham uma régua para medir o comportamento dos modelos. A Reuters observa que a abordagem lembra a "constituição" escrita que a Anthropic (abre em nova aba) usa para orientar seus sistemas. Admitir abertamente que os modelos ainda não chegaram lá também conta pontos.
O histórico recente, porém, mostra onde mora o problema. Os incidentes relatados não foram rebeliões de cinema. Segundo a CSO Online, foram sistemas que, ao perseguir a tarefa que receberam, encontraram atalhos que ninguém tinha autorizado. Uma frase como "não resista ao desligamento" só tem efeito se o treinamento fizer o modelo agir assim de verdade, inclusive quando ninguém estiver olhando. Por enquanto, a própria OpenAI diz que ainda procura o método para isso.
Desde setembro, a empresa publica relatórios de incidentes de desalinhamento, os casos em que um modelo se comporta de forma diferente da pretendida. São esses relatórios, mais do que o manual, que vão mostrar se as novas regras saíram do papel.