Tem algo de tragicômico acompanhar o debate sobre o fim da espécie humana no mesmo espaço em que alguém pergunta por que um NaN no pipeline derrubou o modelo de produção. As duas escalas convivem mal, e talvez seja justamente essa má convivência o tema central. Quando Clóvis de Barros Filho — filósofo que fez carreira ensinando ética na USP e popularizando a disciplina em livros e palestras — comentou o medo do risco existencial da IA, colocou na mesa uma pergunta que raramente aparece nos fóruns técnicos: de que vida estamos escolhendo, quando discutimos isso?
Minha tese, assumida desde já: o medo da extinção por IA é real como fato social, indefensável como certeza científica e útil, sobretudo, como espelho ético. A contribuição do comentário de Clóvis não está em estimar a probabilidade de extinção — filósofo nenhum está bem posicionado para isso —, e sim em deslocar a conversa da profecia para a escolha. E, para quem escreve código ou opera modelos, esse deslocamento tem consequência prática direta: o risco que cabe ao nosso dia a dia é o que conseguimos medir, mitigar e governar.
De onde vem esse medo
O episódio que deu combustível à discussão é documentado: em 2023, o Center for AI Safety (abre em nova aba) publicou uma declaração de uma única frase, equiparando o risco de extinção causado por IA a riscos de escala societária como pandemias e guerra nuclear. O texto foi assinado por centenas de figuras centrais do campo, entre elas Geoffrey Hinton (que deixou o Google naquele ano citando, entre os motivos, a possibilidade de a tecnologia sair de controle), Sam Altman e Demis Hassabis. Fato observado: a declaração existe e foi assinada por quem mais entende de modelos.
O que não é fato é o conteúdo da preocupação. A declaração não apresenta evidência de que extinção seja provável; apresenta um juízo de valor sobre o que merece atenção preventiva. A diferença importa. No jargão do campo, quem discute o tema fala em p(doom) — a probabilidade subjetiva de que uma IA cause catástrofe irreversível. Não existe instrumento que meça p(doom). É uma crença calibrada por intuição, trajetória de pesquisa e, digamos, temperamento. Tratá-la como dado é o primeiro erro que o comentário filosófico ajuda a corrigir.
O que os céticos respondem
O melhor contraponto vem de dentro da própria engenharia. Yann LeCun, pesquisador-chefe de IA da Meta e um dos pais do aprendizado profundo, classificou publicamente essas previsões de absurdo. O argumento dele, em versão resumida: os modelos de linguagem atuais não têm modelo de mundo robusto, memória persistente nem objetivos próprios estáveis, e agência — a capacidade de perseguir metas de forma autônoma — não emerge gratuitamente de predição de tokens. Para LeCun, quem conclui extinção a partir de benchmarks de prova está cometendo uma cadeia de inferências não validadas.
Há ainda a crítica política, feita por pesquisadores e acadêmicos de várias correntes: o discurso do apocalipse beneficia quem já está no topo. Um risco que só empresas gigantes têm poder de mitigar justifica, de quebra, que só elas controlem o acesso à tecnologia — regulação portão, no vocabulário crítico. Essa leitura não é ficção; é uma objeção recorrente ao uso público de cenários catastróficos.
Duas explicações seguem de pé. É possível que a agência autônoma persistente seja um problema de engenharia solúvel em escala crescente; é possível também que ela exija invenções cuja viabilidade é desconhecida. Quem promete certeza em qualquer direção está vendendo algo que não tem.
O que a filosofia de Clóvis acrescenta
Clóvis de Barros Filho não é engenheiro de aprendizado de máquina, e isso precisa ser dito sem eufemismo: sua credibilidade no tema não é preditiva, é normativa. Ele vem da tradição da ética clássica, Aristóteles, Espinosa, a pergunta grega sobre que vida vale a pena viver, , e a leitura pública que construiu sustenta que ética não é conjunto de regras, mas decisão sobre o que fazer com a própria existência.
Aplicando esse quadro ao medo da extinção, e marca aqui a minha interpretação, não uma citação, , o argumento muda de eixo. A pergunta deixa de ser "a IA vai nos destruir?" e passa a ser "o que já estamos fazendo, agora, quando delegamos decisões a sistemas que não inspecionamos e a lógicas que não escolhemos?". Nessa leitura, o risco existencial é menos um evento futuro a prever e mais um processo presente a reconhecer: a transferência silenciosa de julgamento humano para infraestrutura automatizada, movida por eficiência, não por malícia.
O contraponto justo é necessário: essa contribuição não substitui o trabalho técnico. Filosofia nenhuma corrige um alinhamento mal feito. Mas há um erro simétrico, comum entre nós: desprezar a questão normativa porque não cabe em um notebook. O comentário de Clóvis é valioso justamente porque aponta para a camada em que técnicos não são competentes por padrão, a de decidir fins, , e a camada em que somos, a de executá-los, só ganha sentido depois da primeira.
O que é mensurável hoje, e o que não é
A literatura de segurança de IA costuma separar três camadas de risco, e a separação é útil para o profissional:
- Risco de uso indevido (misuse): pessoas mal-intencionadas usando modelos. Fenômenos documentados incluem deepfakes, engenharia social automatizada e jailbreaks, técnicas para contornar as restrições de segurança de um modelo.
- Risco estrutural: danos sistêmicos graduais, como concentração de poder em poucos fornecedores, viés institucionalizado por decisão algorítmica e erosão de competências humanas.
- Risco catastrófico/existencial: perda irreversível de controle. Hipótese defendida por pesquisadores sérios; sem evidência empírica até agora.
Para o desenvolvedor, a hierarquia de ação decorre da própria definição: as duas primeiras camadas têm ferramentas, evals (avaliações sistemáticas de comportamento do modelo), red teaming (testes agressivos conduzidos para achar falhas), limites de autonomia, humano no circuito para decisões irreversíveis. A terceira camada exige ciência que ainda não temos, interpretabilidade robusta, que é a capacidade de auditar o que um modelo aprendeu internamente, segue longe do necessário para garantir sistemas futuros. Dizer isso com sobriedade é mais honesto do que o pânico e mais útil que o desprezo.
O que isso tem a ver com o Brasil
O debate regulatório brasileiro corre em outra camada, e não é por erro. O PL 2338/2023, proposta de marco legal para IA no país, organiza os sistemas por níveis de risco: práticas proibidas, alto risco com obrigações documentadas, categorias intermediárias. O texto foi aprovado pelo Senado no fim de 2024 e, até onde sei ao fechar este texto, segue em discussão na Câmara dos Deputados, situação parlamentar que convém conferir antes de qualquer decisão de conformidade.
Repare que o marco brasileiro trata de danos presentes: discriminação algorítmica, decisões automatizadas que afetam crédito, emprego, acesso a serviços. Risco existencial não é seu objeto central. Minha opinião é que essa assimetria é defensável, não falha: governar o dano de hoje e pesquisar o risco de amanhã não são rivais, são orçamentos distintos para problemas distintos. O erro seria usar o apocalipse como desculpa para não regulamentar o presente, ou usar a crítica ao apocalipse como desculpa para não regular nada.
O que sobra para quem constrói
Da discussão inteira, o que cabe na semana de trabalho:
- Calibrar autonomia pelo custo do erro: quanto mais irreversível a decisão, menos autonomia o agente deveria ter.
- Tratar evals como testes de software, não como vitrine: cobertura, regressão, critérios explícitos.
- Desconfiar de narrativas nas duas direções, quem anuncia o fim do mundo e quem promete que "nunca acontece" devem apresentar o mesmo tipo de evidência.
- Separar, em toda discussão técnica, fato medido, projeção modelada e hipótese de pesquisa. O vocabulário já existe; falta aplicá-lo em reunião.
A pergunta não é se a máquina vai querer o que não escolhemos. É se nós, enquanto coletividade, escolhemos o que entregamos a ela.
Esse é, na minha leitura, o núcleo do que um filósofo da ética pode oferecer a um debate dominado por curvas de capacidade. A profecia é indecidível; a escolha está acontecendo agora, em arquiteturas, contratos e leis. Assumir isso não torna o risco existencial irrelevante, torna-o passível de trabalho.
Perguntas frequentes
Quem é Clóvis de Barros Filho?
Filósofo brasileiro, foi professor de ética na USP e tornou-se conhecido por popularizar filosofia em livros e palestras. Sua formação é em ética e filosofia clássica, não em engenharia de IA, o que o qualifica para a questão normativa, não para estimativas técnicas de risco.
O que é p(doom)?
É a probabilidade subjetiva atribuída por alguém a uma catástrofe global causada por IA. Não existe medição empírica desse número: é uma estimativa de crença, útil para debate, mas não é dado científico.
O que dizia a declaração sobre risco de extinção?
Publicada em 2023 pelo Center for AI Safety, dizia que mitigar o risco de extinção pela IA deveria ser prioridade global, ao lado de pandemias e guerra nuclear. Foi assinada por centenas de pesquisadores e executivos do campo. Não apresentava evidência de iminência, e sim um apelo preventivo.
O PL 2338/2023 trata do risco de extinção?
Não. A proposta regula sistemas de IA por níveis de risco com efeitos atuais sobre direitos, como discriminação e decisões automatizadas. O risco existencial não é seu objeto central; a discussão sobre ele ocorre, no Brasil, em outra esfera, acadêmica e de política científica.