A NVIDIA (abre em nova aba) publicou na terça-feira (20), no Hugging Face e no GitHub, um modelo cuja proposta cabe numa frase. Você mexe nos controles de um robô cirúrgico e a IA gera, em tempo real, o vídeo do que a câmera dentro do paciente mostraria em seguida. O modelo se chama Cosmos3-H-Dreams (abre em nova aba) e foi treinado com gravações de cirurgias de verdade: retiradas de vesícula biliar (colecistectomias) feitas com o robô Versius, da CMR Surgical (abre em nova aba).
Por trás da imagem não existe um paciente digital com órgãos modelados em 3D. O que existe é um "modelo de mundo", uma IA que aprendeu a prever a próxima cena assistindo a vídeos sincronizados com os movimentos do robô. A cada comando, ele projeta até 72 quadros futuros, o equivalente a 7,2 segundos de cirurgia.
Da bancada para o paciente
É um salto em relação à primeira versão. O Cosmos-H-Dreams original, construído sobre o Cosmos-Predict2.5 e descrito no artigo arXiv:2608.24199, cobria sutura de bancada com o dVRK, um kit robótico de pesquisa. Era treino em mesa, não em gente. Agora os dados vêm de procedimentos clínicos em pacientes humanos, com cirurgiões operando o Versius à distância, pelo console. Segundo a NVIDIA, até onde a empresa sabe, este é o primeiro simulador cirúrgico generativo em tempo real treinado com gravações clínicas de colecistectomia e capaz de responder a comandos ao vivo.
O "controle" aqui é literal. O modelo recebe 28 sinais a cada décimo de segundo: posição e abertura da pinça de cada braço, acionamento de energia (o gancho monopolar corta e cauteriza com corrente elétrica), eixos do joystick e botões do console. Por baixo há cerca de 15 bilhões de parâmetros, herdados do Cosmos3-H-Embodied-Nano. Esse modelo de 16 bilhões foi pré-treinado no conjunto Open-H-Embodiment e deriva do Cosmos3-Nano. A arquitetura junta uma parte de "raciocínio", baseada no Qwen3-VL-8B, a outra que gera as imagens.
O que torna tudo interativo é a velocidade. Com um acelerador chamado FlashDreams, a NVIDIA diz que o sistema roda numa única placa RTX PRO 6000. Para chegar lá, a empresa "destilou" o modelo grande num modelo menor, que gera cada trecho em poucas etapas. A versão 1.0 usa quatro. Uma segunda, treinada separadamente, usa só duas.
O número que mais diz sobre o modelo
O acervo cedido pela CMR é enorme. O que entrou de fato no ajuste fino é bem menor:
| Acervo da CMR | Usado no ajuste fino | |
|---|---|---|
| Volume | 4.792 episódios (~17 milhões de quadros) | 64 gravações (~526 minutos únicos) |
| Quadros por segundo | 60 | 10 |
| Resolução | 1080p | 832x480 |
São pouco menos de nove horas de cirurgia. Outras 10 gravações, somando cerca de 10,6 minutos, ficaram separadas para teste.
O corte tem motivo. Só entraram trechos com exatamente dois instrumentos visíveis e em uso, uma pinça à esquerda e o gancho à direita, e sem comandos de movimentação da câmera. Recortes limpos assim facilitam o aprendizado. Também deixam o modelo estreito: uma cirurgia, dois instrumentos, câmera parada. Isso não é defeito, é como se começa. Mas quem lê "trazer a cirurgia clínica à vida", o slogan do anúncio, deve entender algo mais modesto: um momento específico de uma cirurgia específica ganhou vida.
A ressalva que vem da própria NVIDIA
O trecho mais honesto do anúncio é um aviso da própria empresa: realismo visual não é prova de precisão biomecânica.
Em português claro, um tecido pode parecer certo na tela e se comportar errado, cedendo ou reagindo ao instrumento de um jeito que o tecido real não faria. Para um vídeo bonito, tanto faz. Para algo que um dia pretenda ensinar um cirurgião ou um robô a operar, é a questão inteira. É aí que vale ficar de olho. O que vai separar a demonstração de uma ferramenta útil é o que vem depois do tempo real: avaliação por cirurgiões, comparação com simuladores físicos e testes em situações que o modelo nunca viu.
Quem pode usar
O modelo sai sob a NVIDIA Open Model License. A ficha técnica diz que ele está pronto para uso comercial e não comercial, mas que qualquer integração exige testes adicionais específicos para cada aplicação. O sistema operacional indicado é o Linux, e as placas listadas são das gerações Hopper e Blackwell, ou seja, hardware de data center, não um notebook comum.
Há um detalhe importante: os pesos são abertos, os dados não. As gravações são proprietárias da CMR. Quem está de fora pode baixar e testar o modelo, mas não consegue refazer o treino nem examinar o material que o formou. Segundo a ficha, as imagens mostram anatomia e instrumentos, não rostos.
A aposta é clara: se uma IA conseguir imaginar com fidelidade o que acontece dentro do abdômen a cada movimento do robô, será possível ensaiar e testar sem paciente na mesa. O Cosmos3-H-Dreams mostra que a imagem já convence. Falta provar que o corpo, nessa imaginação, obedece às mesmas regras do corpo real.