Tem gente que demonstra convicção assinando manifesto. Nate Soares demonstra pelo extrato da previdência. "Eu não poupo para a aposentadoria agora", disse o presidente do Machine Intelligence Research Institute (abre em nova aba) (MIRI) no podcast The Most Interesting Thing in AI. "Tenho um 401(k) da época em que trabalhei no Google, mas não contribuo há uma década."
O 401(k) é o plano de aposentadoria que muitas empresas americanas oferecem aos funcionários, algo parecido com uma previdência privada ligada ao emprego. Soares deixou de depositar nele porque acredita que há mais de 50% de chance de a inteligência artificial extinguir a humanidade em menos de dez anos. Ele disse isso em voz alta, com números, e mudou a própria vida financeira por causa disso.
Quem está falando
Soares não é um anônimo gritando na internet. Ele trabalhou como engenheiro no Google e na Microsoft e saiu do Google em 2014 para entrar no MIRI. Desde então, passou mais de 12 anos em "alinhamento", a área que tenta garantir que sistemas de IA façam o que os humanos querem. Também é coautor, com Eliezer Yudkowsky, de quem é braço direito no instituto, do livro de 2025 If Anyone Builds It, Everyone Dies ("Se alguém construir, todo mundo morre", em tradução livre).
A conversa foi com Nicholas Thompson, CEO da revista The Atlantic, em um episódio de 1h14 publicado no dia 21 de outubro com o título "Como evitar um apocalipse da IA". O programa é produzido de forma independente da redação da revista. Quando Thompson perguntou se havia mais de 50% de chance de os humanos não estarem por aqui daqui a dez anos, Soares respondeu: "Mais de 50% de que não temos uma década, é assim que me parece neste momento." Em outro trecho, resumiu: "Eu sou o cara do 'a IA mata todos os humanos'."
O número assusta, e os "moderados" também
Segundo o Business Insider, Geoffrey Hinton estima em 10% a chance de a IA matar todo mundo dentro de uma década. Evan Hubinger, pesquisador da Anthropic (abre em nova aba), fala em mais de 10%. Ou seja, mesmo as vozes consideradas menos alarmistas desse grupo falam em uma chance em dez de a humanidade acabar nos próximos anos. Ninguém embarcaria num avião com essas probabilidades. A indústria, porém, segue construindo o avião em pleno voo.
O raciocínio de Soares é o seguinte: uma IA capaz o suficiente poderia desenvolver objetivos diferentes dos nossos, driblar a supervisão humana, melhorar a si mesma e construir sua própria infraestrutura automatizada. O livro sustenta que uma superinteligência feita com os métodos atuais criaria metas que ninguém programou de propósito e quase certamente acabaria com a vida humana. No podcast, ele foi além. Disse que uma IA que escapasse do controle provavelmente agiria mais rápido que o cenário fictício descrito no livro, numa "explosão de inteligência". E dedicou um trecho a explicar por que ela nem precisaria de robôs para nos eliminar.
A comparação que ele escolheu para dar a medida do risco foi a bomba atômica. Uma superinteligência fora de controle seria "francamente mais perigosa que armas nucleares", disse, porque "armas nucleares não conseguem escapar e se tornar mais explosivas sozinhas".
A saída que ele propõe
Apesar do tom, Soares não se apresenta como fatalista. "Não acho que seja inevitável", disse. "Faço tudo o que posso para impedir esse desfecho." A solução, para ele, é simples de enunciar e dificílima de executar: "não construir a coisa que mataria todo mundo". Questionado sobre o que faria com orçamento ilimitado, respondeu que compraria a cadeia de suprimentos de chips, os componentes sem os quais nenhuma IA avançada é treinada.
É aqui que a história fica mais humana do que apocalíptica. Se Soares acha que o fim pode ser evitado e dedica a carreira a isso, uma vitória dele significa chegar à velhice com uma previdência parada há décadas. Na prática, a aposentadoria dele aposta contra o sucesso do próprio trabalho.
Há ainda um contraste curioso. Em janeiro, Elon Musk disse que poupar para a aposentadoria poderia se tornar irrelevante, mas por causa da abundância que a IA traria, e não da extinção. Os dois extremos do debate chegam ao mesmo conselho financeiro por caminhos opostos. O que eles têm em comum é a certeza sobre um futuro que ninguém consegue medir.
O que fica de fora da conversa
O Futurism lembra que há críticos e que não existe consenso de que esse futuro seja sequer possível, quanto mais provável. Também registra que a IA já está associada a danos documentados que não dependem de superinteligência nenhuma. Esse é o ponto que costuma se perder quando a discussão vira contagem regressiva para o fim do mundo. Os problemas reais e atuais ficam sem holofote enquanto todos olham para o asteroide.
A parte que merece atenção não é o 401(k). É o fato de que pessoas que conhecem essa tecnologia por dentro atribuem chances nada desprezíveis a uma catástrofe, enquanto o ritmo de desenvolvimento só acelera. Pode-se discordar do número de Soares, mas a pergunta que ele levanta continua sem resposta: quem está decidindo quanto risco o resto de nós deveria aceitar?