Como estruturar a triagem e mitigação de fraudes com IA generativa e deepfakes

Clonar uma voz humana inteira para produzir frases inéditas exige apenas algumas horas ou, em muitos casos, amostras ali na casa de poucos minutos de áudio de referência, segundo documentação da CISA (abre em nova aba) (Agência de Segurança Cibernética e de Infraestrutura dos Estados Unidos). Neste guia prático, você vai estruturar um fluxo técnico de triagem, verificação de proveniência e autenticação ativa para identificar e mitigar fraudes de mídia sintética e engenharia social assistida por IA generativa, aplicando as ações MP-2.3-004 e GV-6.1-008 do perfil de IA generativa do NIST (abre em nova aba) (NIST AI 600-1) em conjunto com as diretrizes da NSA, do FBI (abre em nova aba) e da CISA.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​‌‌​​‌‌​‌​​​​‌‌​​‌​​‌‌​​​‌​​​‌‌​​‌​​​‌‌​​​​​‌‌​​​‌‌​​‌‌​​​‌​​‌​‌‌​‌​‌‌​​‌​​​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​​‌‌​‌‌​​‌‌​​​‌‌​​​‌​​‌​‌‌​‌​​‌‌​​​‌​‌‌​​​‌‌​​‌‌‌​​​​​‌‌​‌‌​​​‌‌​‌​​​‌‌​​‌​‌​​‌‌​‌‌​​​‌‌​​‌‌​​‌‌‌​​​​​‌‌​​‌​​‌‌​​​‌‌​​‌‌​​​‌⁠

A reação imediata de muitas equipes de engenharia e dados diante de fraudes com deepfakes (mídias de vídeo, foto ou áudio manipuladas ou fabricadas por algoritmos de aprendizado profundo para parecerem autênticas) é buscar um classificador automático capaz de barrar arquivos sintéticos na entrada. Essa abordagem esbarra na própria arquitetura de treinamento dos modelos. Conforme detalha a ISACA (abre em nova aba) no periódico ISACA Journal (Volume 4, 2024), a geração de mídia sintética utiliza um modelo discriminador para treinar o modelo gerador em ciclos rápidos de retroalimentação (feedback loops), ajustando os pesos até que a própria IA não consiga mais distinguir se o conteúdo é sintético ou autêntico.

Um filtro passivo não dá conta de barrar sozinho um artefato treinado especificamente para derrotar discriminadores. A defesa técnica precisa combinar análise contextual de engenharia social, rastreamento criptográfico de origem e protocolos de verificação fora de banda (out-of-band).

Arquitetura da ameaça: os três pilares e a ambiguidade na triagem

O NIST define engenharia social como a tentativa de enganar alguém para que revele informações (como uma senha) utilizáveis para atacar sistemas ou redes. A ISACA divide a evolução dos ataques cibernéticos com IA em três fases: a Fase 1 é a engenharia social potencializada por IA via técnicas como deepfakes; a Fase 2 envolve código de malware polimórfico e metamórfico desenvolvido por IA (ainda em estágio inicial); e a Fase 3 compreende capacidades ofensivas e defensivas totalmente autônomas. As operações de segurança atuais lidam diretamente com a consolidação da Fase 1.

Um estudo sistemático publicado na revista Artificial Intelligence Review (Springer, 2024) estrutura o impacto da IA generativa na engenharia social sobre três pilares operacionais:

1. **Criação de conteúdo realista (Realistic Content Creation):** geração de textos persuasivos que eliminam erros gramaticais típicos de golpes antigos, além de fotos de perfil, documentos de identificação falsos, imagens enviadas em conversas privadas e clipes de áudio sintéticos.
2. **Direcionamento e personalização avançados (Advanced Targeting and Personalization):** uso de modelos para acelerar a coleta de dados na fase de reconhecimento (reconnaissance), permitindo ataques de spear phishing (phishing direcionado a um indivíduo, cargo ou organização específica) altamente customizados, conforme alerta o guia ITSAP.00.135 do Canadian Centre for Cyber Security.
3. **Infraestrutura de ataque automatizada (Automated Attack Infrastructure):** operação de chatbots generativos e disparo de campanhas em velocidade e escala inviáveis para operadores humanos, incluindo a geração de chamadas falsas por clonagem de voz para sobrecarregar centrais de atendimento (call centers), vetor documentado pela CISA.

No alerta público I-120324-PSA (emitido em 3 de dezembro de 2024 pelo Internet Crime Complaint Center, o IC3 do FBI), a agência aponta que criminosos usam essas capacidades para criar perfis fictícios volumosos em redes sociais, sustentar fraudes financeiras, esquemas de investimento ou romance e gerar clipes curtos de áudio imitando a voz de um familiar em situação de crise para exigir transferência imediata de dinheiro ou resgate. Como reportado pelo Estadão em novembro de 2026, o uso de geração e manipulação de conteúdo torna as fraudes personalizadas mais difíceis de identificar justamente quando simulam a identidade de pessoas conhecidas, empresas ou autoridades.

Quando um vídeo ou áudio suspeito chega à fila de análise de incidentes, duas explicações técnicas permanecem plausíveis antes da perícia. O arquivo pode ser um deepfake gerado por algoritmos de aprendizado profundo ou pode ser o que a CISA classifica como cheapfake: uma mídia real que sofreu manipulação simples, tendo sua velocidade acelerada ou reduzida, sendo exibida fora de contexto ou recebendo uma faixa de áudio combinada de outra fonte para alterar a narrativa (técnica descrita no relatório conjunto Contextualizing Deepfake Threats to Organizations, da NSA, FBI e CISA). O pipeline de verificação precisa tratar ambos os casos.

Passo 1: Configurar a triagem contextual de engenharia social (NIST MP-2.3-004)

A ação MP-2.3-004 do documento NIST AI 600-1 orienta o desenvolvimento e a implementação de técnicas de teste para identificar conteúdo produzido por IA generativa que possa ser indistinguível de conteúdo humano. Como a avaliação puramente sintática do texto ou a inspeção visual humana falham diante de modelos multimodais atuais, a primeira camada do fluxo deve avaliar os indicadores comportamentais e operacionais documentados pelo FBI (I-120324-PSA) e pela CISA.

Integre o prompt estruturado abaixo ao seu fluxo de triagem automatizada (via API de LLM interno ou ferramenta de automação de resposta a incidentes, conhecida como SOAR) para inspecionar o texto de e-mails, mensagens ou a transcrição automática de chamadas de voz recebidas. Note que este template é um modelo de implementação baseado nos indicadores oficiais das agências, não um detector probabilístico de pesos neurais.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​‌‌​​‌‌​‌​​​​‌‌​​‌​​‌‌​​​‌​​​‌‌​​‌​​​‌‌​​​​​‌‌​​​‌‌​​‌‌​​​‌​​‌​‌‌​‌​‌‌​​‌​​​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​​‌‌​‌‌​​‌‌​​​‌‌​​​‌​​‌​‌‌​‌​​‌‌​​​‌​‌‌​​​‌‌​​‌‌‌​​​​​‌‌​‌‌​​​‌‌​‌​​​‌‌​​‌​‌​​‌‌​‌‌​​​‌‌​​‌‌​​‌‌‌​​​​​‌‌​​‌​​‌‌​​​‌‌​​‌‌​​​‌⁠

Você é um analista de segurança da informação executando um protocolo de triagem baseado no NIST AI 600-1 (MP-2.3-004) e no alerta IC3 I-120324-PSA do FBI.

Analise os dados do evento abaixo sem presumir que a ausência de erros gramaticais indica legitimidade (modelos de linguagem eliminam erros de escrita em campanhas de spear phishing).

Dados do evento:
- Canal de origem: [CANAL_ORIGEM]
- Identidade alegada: [REMETENTE_ALEGADO]
- Status de metadados/proveniência de mídia: [METADADOS_ARQUIVO]
- Conteúdo ou transcrição: [CONTEUDO_MENSAGEM]

Avalie o evento respondendo estritamente no formato JSON abaixo com base nos seguintes critérios:
1. indicadores_fbi_cisa: liste se há pedido de assistência financeira imediata, narrativa de crise/extorsão, tentativa de obter credenciais/informações sensíveis, envio de foto/documento para provar identidade em conversa privada, ou áudio curto de urgência.
2. hipoteses_plausiveis: indique se o padrão é compatível com (a) comunicação legítima atípica, (b) engenharia social assistida por LLM/deepfake de voz, ou (c) cheapfake/manipulação de contexto.
3. nivel_risco: classifique como BAIXO, MEDIO ou ALTO.
4. acao_autenticacao_ativa: defina o procedimento de verificação fora de banda (out-of-band) obrigatório antes de qualquer execução.

Formato de saída esperado:
{
  "indicadores_fbi_cisa": [],
  "hipoteses_plausiveis": "",
  "nivel_risco": "",
  "acao_autenticacao_ativa": "",
  "justificativa_tecnica": ""
}

Saída esperada na execução: um objeto JSON padronizado que ignora a fluidez gramatical do texto (já que o FBI destaca que criminosos usam IA generativa justamente para superar indicadores comuns de fraude textual) e isola o vetor psicológico e operacional do pedido.

Passo 2: Implementar verificação de proveniência e Content Credentials (NIST GV-6.1-008)

De acordo com a ISACA, mecanismos de autenticação de conteúdo representam a defesa mais forte que uma organização possui contra conteúdos sintéticos ou manipulados distribuídos em seu nome. O perfil NIST AI 600-1 formaliza essa exigência na ação GV-6.1-008, recomendando políticas para manter informações de proveniência capazes de rastrear a origem e o histórico de modificações de um arquivo digital para gerenciar riscos de terceiros.

Em janeiro de 2025, a NSA, o FBI e a CISA publicaram o guia técnico Content Credentials: Strengthening Multimedia Integrity in the Generative AI Era (PP-25-0336, Versão 1.0), detalhando como aplicar essa diretriz:

1. Assinatura criptográfica na origem (Mídia de saída): configure os fluxos de publicação corporativa, comunicados de executivos e registros legais ou governamentais para embutir metadados de Content Credentials (especificação técnica da C2PA e Project Origin). Isso cria um manifesto criptográfico que vincula o arquivo de áudio, imagem ou vídeo ao dispositivo de captura ou sistema emissor e registra qualquer edição posterior. Essa prática também prepara a infraestrutura para exigências regulatórias como o EU AI Act (Lei de IA da União Europeia), que impõe obrigações a provedores e usuários de sistemas de IA para viabilizar a detecção e o rastreamento de conteúdo gerado artificialmente.
2. Inspeção de manifestos na ingestão (Mídia de entrada): adicione uma etapa de validação de manifesto C2PA nos pipelines que recebem imagens de documentos de identificação (comuns em fraudes documentadas pelo FBI) ou arquivos multimídia.

Passo 3: Aplicar autenticação ativa e redução de superfície de dados

Quando o negócio envolve liberação de acesso sensível, alteração cadastral ou transferência financeira, nem a análise textual nem a ausência de metadados resolvem o impasse sozinhas. Nos relatórios Contextualizing Deepfake Threats to Organizations e Content Credentials, a NSA, o FBI e a CISA recomendam que as organizações adotem técnicas de autenticação ativa (active authentication).

Configure seu fluxo operacional e de sistemas com duas travas de engenharia:

• **Verificação fora de banda (Out-of-Band) obrigatória:** bloqueie por regra de negócio a aprovação de transferências, redefinição de credenciais ou entrega de dados restritos solicitadas apenas por mensagem, chamada de voz ou videoconferência. O sistema ou analista deve iniciar uma nova conexão através de um canal independente e pré-registrado (por exemplo, ligar para o número interno tabelado no diretório corporativo ou exigir aprovação via token criptográfico dedicado, nunca respondendo pelo número ou link fornecido na mensagem recebida).
• Restrição de amostras de treinamento (Mitigação preventiva): como um clone de voz funcional exige apenas alguns minutos de áudio de referência (entrevistas, palestras ou vídeos públicos, segundo o Canadian Centre for Cyber Security e a CISA), oriente funcionários em funções críticas e executivos a tornarem contas pessoais de redes sociais privadas. Reduzir a exposição pública de imagem e voz diminui o material de referência gratuito disponível para o treinamento de modelos adversários.

Como verificar a eficácia do protocolo

Para confirmar que o fluxo de identificação e mitigação está funcionando conforme especificado pela ação MP-2.3-004 do NIST, execute o seguinte teste controlado em ambiente de homologação:

1. Injeção de artefato sintético de teste: gere um texto de spear phishing sem erros gramaticais simulando um pedido urgente de transferência ou acesso em nome de uma liderança interna, acompanhado de um arquivo de áudio ou vídeo cujo áudio original tenha sido substituído por outra faixa (simulando o vetor de combinação de áudio descrito pela NSA/FBI/CISA).
2. Teste de inspeção de proveniência: submeta o arquivo de mídia alterado ao validador de metadados do seu pipeline. Verifique se o sistema registra a ausência de assinatura válida de Content Credentials (ou a quebra do manifesto, caso o vídeo original estivesse assinado).
3. Teste do prompt de triagem: envie a transcrição e o status do metadado ao prompt configurado no Passo 1. O retorno JSON deve preencher nivel_risco como ALTO, listar os indicadores de urgência/acesso em indicadores_fbi_cisa e exigir verificação fora de banda em acao_autenticacao_ativa.
4. Validação da trava operacional: confirme que o ticket ou transação permanece bloqueado até que o registro de autenticação ativa por canal secundário seja preenchido.

Sustentar a segurança de uma operação técnica contra engenharia social e mídia sintética deixa de depender da tentativa falha de adivinhar visualmente o que é real e passa a se apoiar na combinação verificável entre rastreamento criptográfico de origem e autenticação ativa fora de banda.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​‌‌​​‌‌​‌​​​​‌‌​​‌​​‌‌​​​‌​​​‌‌​​‌​​​‌‌​​​​​‌‌​​​‌‌​​‌‌​​​‌​​‌​‌‌​‌​‌‌​​‌​​​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌​‌​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​​‌‌​‌‌​​‌‌​​​‌‌​​​‌​​‌​‌‌​‌​​‌‌​​​‌​‌‌​​​‌‌​​‌‌‌​​​​​‌‌​‌‌​​​‌‌​‌​​​‌‌​​‌​‌​​‌‌​‌‌​​​‌‌​​‌‌​​‌‌‌​​​​​‌‌​​‌​​‌‌​​​‌‌​​‌‌​​​‌⁠