Análise do PAN 2: arquitetura, benchmarks e limites do world model de 29B da MBZUAI

Para equipes de engenharia de robótica e agentes autônomos que precisam de um world model (modelo de mundo, sistema que prevê como um ambiente físico mudará em resposta a uma ação) auditável e auto-hospedado, o PAN 2 (abre em nova aba) é hoje a escolha técnica mais consistente de código aberto sob licença Apache 2.0. Lançado em 10 de novembro de 2026 pelo Institute of Foundation Models (abre em nova aba) (IFM), instituto ligado à Mohamed bin Zayed University of Artificial Intelligence (abre em nova aba) (MBZUAI), o modelo entrega a maior fidelidade física da categoria aberta para validar ações isoladas e simular trajetórias de até 20 segundos. A recomendação para ambientes de produção, contudo, esbarra em uma condição matemática documentada nos próprios testes do fabricante: o sistema perde confiabilidade rapidamente quando a simulação exige encadear várias ações em sequência, falhando em pelo menos uma etapa em cerca de dois terços dos planos complexos.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​​‌​​‌‌​‌​‌​​‌‌​‌​‌​​‌‌​‌​​​​‌‌​‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​​​​​‌‌‌​​‌​‌‌​​‌​‌​‌‌​​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌‌​​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​‌​​​​‌‌​‌‌​​‌‌​​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​‌‌​​​‌‌​​‌‌‌​​‌​​‌‌​​​‌​​‌‌​‌‌‌​‌‌​​​‌​​‌‌​​‌‌​​‌‌​​​‌​​​‌‌‌​​‌​‌‌​​‌​​​​‌‌​‌​‌⁠

Quem trabalha com IA aplicada ao mundo físico conhece a frustração de usar geradores de vídeo tradicionais como simuladores de ambiente. Você entrega a imagem de uma bancada com objetos, descreve em texto que o braço robótico deve empilhar três blocos e recebe de volta uma animação bonita onde um bloco atravessa o outro ou desaparece quando a câmera gira. A hipótese que dominou parte da indústria nos últimos anos sugeria que bastava escalar redes de difusão de vídeo para dezenas de bilhões de parâmetros que a compreensão das leis da física e do planejamento causal emergiria sozinha dos pixels.

Os dados de avaliação do próprio PAN 2 desmontam essa hipótese. Quando os pesquisadores do IFM isolaram o seu motor visual de 29 bilhões de parâmetros e tentaram executar planos de múltiplos passos sem um planejador lógico acoplado, apenas 8,7% das etapas individuais foram geradas corretamente. A taxa de conclusão de planos inteiros caiu para zero.

Sem raciocínio simbólico prévio, o modelo de vídeo colapsa na primeira transição de estado.

Arquitetura GLP: a separação entre planejar o evento e renderizar o pixel

Para evitar que a rede de geração visual tenha de descobrir sozinha a lógica causal de uma tarefa, o PAN 2 implementa a arquitetura Generative Latent Prediction (GLP, ou Predição Latente Generativa), formalizada pelos pesquisadores no artigo Critique of World Models (abre em nova aba) e introduzida na primeira geração do PAN em novembro de 2025. A engenharia do sistema divide o que o IFM chama de raciocínio simulativo (simulative reasoning) em dois estágios distintos: raciocínio conceitual e raciocínio perceptual.

No primeiro estágio, um Large Language Model (LLM, grande modelo de linguagem) multimodal atua como a espinha dorsal de raciocínio conceitual. Ele recebe a observação inicial (uma imagem opcional acompanhada de descrição textual) e a lista de ações que o agente pretende testar. Em vez de tentar prever pixels, esse planejador LLM escreve um estado de mundo estruturado e marcado no tempo (timestamped). O documento intermediário define quem faz o quê, em qual segundo exato a interação ocorre e qual será a trajetória da câmera. Separar a descrição do movimento de câmera da descrição da ação física resolve um problema clássico de deriva espacial: o cenário permanece geometricamente estável mesmo quando o ponto de vista se desloca.

O segundo estágio assume a carga do raciocínio perceptual. O roteiro estruturado passa pelo codificador de texto Qwen3.5-9B (de 9 bilhões de parâmetros) e alimenta um Multimodal Diffusion Transformer (MMDiT, transformador de difusão multimodal que processa texto e imagem conjuntamente no espaço latente) de 29 bilhões de parâmetros. Esse MMDiT foi treinado do zero pelo IFM utilizando centenas de milhões de vídeos anotados exatamente no formato temporal estruturado gerado pelo planejador. O papel do modelo de difusão é preencher as lacunas que a linguagem escrita não alcança: gravidade, deformação de materiais, iluminação, textura e dinâmica de contato.

Na ponta final do pipeline, o Variational Autoencoder (VAE, rede codificadora-decodificadora que traduz representações matemáticas comprimidas em imagens) do modelo Wan 2.2 decodifica os tensores latentes em um vídeo de 704 × 1248 pixels a 24 quadros por segundo (fps), com duração máxima de 20 segundos. O mecanismo de atenção incorpora um fluxo de planejamento global que ancora pontos espaço-temporais futuros para restringir a geração do quadro atual, reduzindo a cintilação de textura típica de simulações longas.

O que está no pacote Apache 2.0 e os requisitos de infraestrutura

O IFM disponibilizou os artefatos principais no repositório IFM/PAN2 (abre em nova aba) do Hugging Face (no formato Safetensors) e o código completo de treinamento e inferência no GitHub (ifm-ai/PAN2), todos sob licença permissiva Apache 2.0. Para engenheiros de MLOps, um ponto de alívio imediato é o suporte de primeiro dia nas bibliotecas Diffusers e vLLM-Omni, permitindo subir serviços de geração texto-para-vídeo e imagem-para-vídeo em uma stack de inferência padronizada.

Há um detalhe de empacotamento que exige atenção antes do deploy. Embora a arquitetura do PAN 2 dependa intrinsecamente da dupla "planejador LLM + gerador MMDiT", o lançamento de pesos próprios do IFM refere-se especificamente ao transformador de difusão de vídeo de 29B, que trabalha integrado aos componentes externos abertos (Qwen3.5-9B para codificação textual e Wan 2.2 VAE para decodificação visual).

Como um agente usa esse pipeline na prática? O objetivo não é gerar um vídeo para consumo humano, mas executar uma busca em árvore no espaço de decisões: o agente formula três ou quatro planos candidatos em texto, roda a simulação de cada um no PAN 2 e inspeciona os vídeos resultantes para executar no mundo real apenas a ação cujo desfecho simulado foi bem-sucedido.

Benchmarks e comparativo: liderança física vs. capacidades gerais

Todas as métricas de desempenho disponíveis para o PAN 2 vêm da bateria de testes conduzida e publicada pelo próprio IFM (alegações e medições documentadas pelo desenvolvedor, ainda sem auditoria externa independente). O instituto colocou o PAN 2 frente a frente com três concorrentes de pesos abertos (Cosmos 3 Super, MiniMax-H3 e LTX-2.5) e dois sistemas proprietários fechados (FLUX 3 e Seedance 2.5).⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​​‌​​‌‌​‌​‌​​‌‌​‌​‌​​‌‌​‌​​​​‌‌​‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​​​​​‌‌‌​​‌​‌‌​​‌​‌​‌‌​​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌‌​​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​‌​​​​‌‌​‌‌​​‌‌​​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​‌‌​​​‌‌​​‌‌‌​​‌​​‌‌​​​‌​​‌‌​‌‌‌​‌‌​​​‌​​‌‌​​‌‌​​‌‌​​​‌​​​‌‌‌​​‌​‌‌​​‌​​​​‌‌​‌​‌⁠

Os resultados nos benchmarks automatizados de IA física e execução de tarefas mostram onde o acoplamento do planejador LLM faz diferença e onde o modelo ainda perde para alternativas do mercado:

No Physics-IQ Verified, que mede se objetos respeitam regras físicas básicas em vídeo, o PAN 2 assume a liderança entre os modelos abertos com 49,38 pontos, superando o Cosmos 3 Super (48,62) e ficando a uma curta distância do modelo fechado FLUX 3 (51,11). Quando avaliado na execução de 100 tarefas cotidianas divididas em múltiplos passos, o acoplamento com o planejador LLM eleva o acerto por etapa individual de 8,7% para 75,1%, garantindo ao PAN 2 a maior taxa de conclusão integral de planos entre os modelos abertos testados (34,00% contra 32,50% do MiniMax-H3).

Olhar apenas para os dois primeiros indicadores pode induzir a erro de seleção. Quando a régua muda para a pontuação total em seis capacidades gerais, o MiniMax-H3 supera o modelo da MBZUAI com folga (87,20 contra 84,48). Mais revelador ainda é o resultado das comparações humanas cegas (blinded human comparisons), nas quais avaliadores julgaram aderência à ação, plausibilidade física e consistência de mundo sem saber qual modelo gerou cada vídeo: o PAN 2 terminou em segundo lugar entre os quatro modelos abertos avaliados. Ter o melhor índice sintético no Physics-IQ Verified não se traduziu em vitória unânime na percepção visual humana.

O gargalo dos múltiplos passos e o falso positivo de segurança

Por que um modelo que acerta três em cada quatro passos individuais (75,1%) falha em dois terços dos planos completos? É pura probabilidade condicional acumulada. Em uma simulação física encadeada de até 20 segundos, cada etapa depende do estado geométrico exato deixado pela etapa anterior. Se o agente precisa abrir uma gaveta, pegar uma ferramenta, posicioná-la sobre uma peça e girar no sentido horário, uma única alucinação física no segundo passo invalida todo o restante do vídeo. O próprio IFM admite abertamente essa limitação: em aproximadamente 66% das simulações de planos com múltiplas etapas, pelo menos um passo não é executado conforme solicitado.

Para equipes que pretendem expor o simulador a entradas externas ou integrá-lo em fluxos automatizados sem supervisão humana, há um segundo gargalo operacional documentado: o módulo de segurança pan2-guardrail. Desenvolvido para filtrar prompts maliciosos de texto-para-vídeo, o mecanismo reduz a geração de vídeos inseguros de 33,9% para 1,5%.

O preço dessa contenção é alto. O pan2-guardrail apresenta uma taxa de falso positivo de 11,5%, bloqueando indevidamente mais de uma em cada dez requisições perfeitamente normais. Em um loop de planejamento de agente que precisa simular dezenas de ações candidatas por minuto para tomar uma decisão física, ter 11,5% das simulações benignas abortadas pelo filtro de segurança exige que o desenvolvedor implemente lógicas de repetição (retry com reformulação de prompt) ou substitua o guardrail padrão quando o modelo operar em ambientes industriais fechados.

A contribuição mais duradoura do laboratório distribuído entre Abu Dhabi, Sunnyvale e Paris talvez não esteja nos 29 bilhões de parâmetros do seu modelo de difusão, mas na admissão arquitetural de que modelos de vídeo são péssimos planejadores. Ao rebaixar o gerador de vídeo a um renderizador subordinado a um cronograma escrito por um LLM, o PAN 2 transforma a geração de vídeo de uma ferramenta de mídia em um ambiente de teste descartável, onde agentes de software podem errar dezenas de vezes em silêncio antes de mover um único motor no mundo real.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​‌‌​​​​‌​​‌‌​‌​‌​​‌‌​‌​‌​​‌‌​‌​​​​‌‌​‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​​​​​‌‌‌​​‌​‌‌​​‌​‌​‌‌​​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​‌‌​​‌‌​​‌‌​​​‌‌​‌‌​​​‌‌​​‌​‌‌​‌​‌‌​​​‌​​‌‌​​‌​​​​‌‌​‌‌​​‌‌​​​‌​​​‌​‌‌​‌​‌‌​​‌‌​​‌‌​​‌​‌​‌‌​​​‌‌​​‌‌‌​​‌​​‌‌​​​‌​​‌‌​‌‌‌​‌‌​​​‌​​‌‌​​‌‌​​‌‌​​​‌​​​‌‌‌​​‌​‌‌​​‌​​​​‌‌​‌​‌⁠