Open source, como se sabe, quer dizer que você pode ler o código. Não quer dizer que você pode rodá-lo. O DeepInfer (abre em nova aba), framework de inferência que a DeepSeek (abre em nova aba) abriu em 20 de outubro sob licença Apache 2.0, talvez seja o exemplo mais bem-acabado dessa distinção que a indústria produziu neste ano. Segundo a própria empresa, é o motor que sustenta seus serviços de produção em larga escala. Exige GPUs Blackwell de data center ou NPUs Huawei Ascend 950, roda um único modelo, o DeepSeek-V4.1-Flash, e só faz inferência offline. Minha tese é que o DeepInfer não é uma ferramenta para a maioria de quem lê este texto. Funciona como uma aula, e quem vai tirar mais proveito dela são o vLLM e o SGLang.
O que veio na caixa
O README não economiza no cardápio. Traz kernels otimizados e runtime próprio para modelo e sampler, além de paralelismo de atenção por dados (Attention DP) com context parallel balanceado. Inclui também paralelismo de especialistas no MoE com balanceamento de carga (EP + EPLB), decodificação especulativa com DSpark e verificação agendada por confiança, replay limitado para sliding window attention e agendamento assíncrono. Fecham a lista inferência invariante ao batch, amostragem determinística e saídas estruturadas. Na sala de máquinas, a relação de kernels parece almoço de domingo da família: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect e kernels próprios escritos em TileLang. O modelo suportado é um só. O checkpoint padrão é o DeepSeek-V4.1-Flash-1017, com janela de 1 milhão de tokens segundo o model card citado pela MarkTechPost.
Um detalhe diz muito sobre a franqueza do pacote. A MarkTechPost cita uma seção de perguntas e respostas sobre implantação no repositório, segundo a qual o kernel interno de decode do FlashMLA é de 5% a 10% mais rápido que o público. Ainda assim, a DeepSeek estima a diferença ponta a ponta em 5% ou menos. O que foi aberto, portanto, é quase o que roda em casa. Quase. A empresa ao menos teve a cortesia de dizer quanto falta.
O que ficou na cozinha
Agora a parte que o anúncio não menciona. O DeepInfer não inclui sistema de KV cache. Também não inclui a desagregação entre prefill e decode (nem o estágio que o README chama de VE), e não faz balanceamento de carga entre réplicas de paralelismo de dados. O modo de operação é inferência offline: você entrega um lote e ele devolve um lote. Não há servidor esperando requisição.
Quem já pôs um LLM em produção sabe que essas três ausências não são acessórios. Um cache de KV com reaproveitamento de prefixo é o que barateia conversas longas e prompts repetidos. Separar prefill de decode permite dimensionar cada fase pelo seu gargalo, com computação de um lado e banda de memória do outro. Balancear réplicas evita que um nó ferva enquanto o vizinho cochila. Tirar isso de um motor de produção equivale a publicar a receita do restaurante sem o fogão, a geladeira e o garçom. Sobra o tempero, que, diga-se, é excelente.
Sobre a desagregação, o README afirma que a maior parte da funcionalidade necessária do motor já está implementada. É a frase mais otimista do repositório. Pode ser verdade. Também pode ser aquela distância entre "já está implementado" e "funciona no seu cluster", que todo engenheiro conhece de reunião de planejamento.
A conta do hardware
SM100 é a arquitetura Blackwell de data center, a família de B200 e GB200. A RTX 5090 é SM120, outro bicho, e não conta. Hopper, onde muita gente ainda está, não aparece na lista de hardware suportado: o repositório não promete caminho para H100 ou H200. Há mais uma ressalva. A inferência invariante ao batch e a amostragem determinística estão documentadas como exclusivas da NVIDIA, e quem for de Ascend fica sem as duas.
Depois vem a escala. Os benchmarks publicados usaram 4 GPUs SM100 para prefill e 64 para decode, cada grupo dentro de um mesmo domínio de scale-up. Pelo Q&A citado pela MarkTechPost, a menor unidade de produção eficiente tem 64 GPUs de prefill e mais 64 de decode. São 128 Blackwells só para começar a conversa.
É com essa conta em mente que vale ler o anúncio oficial, publicado pela própria DeepSeek no X na terça-feira. É ele que define a régua pela qual o lançamento pede para ser medido:
Apresentando o DeepInfer, nosso framework de inferência interno, agora totalmente open source! Movendo o DeepSeek-V4.1-Flash em escala, com alto throughput e baixa latência. Estamos compartilhando nossa stack de produção para ajudar a comunidade a reduzir custos de computação, diminuir o uso de energia e tornar a IA mais acessível.
"Ajudar a comunidade a reduzir custos" ganha outra cor quando a comunidade precisa caber em 128 GPUs de última geração. Nada ali é falso. Só que essa comunidade, na prática, é um clube pequeno de laboratórios e provedores, e não o desenvolvedor que vai abrir o terminal amanhã cedo.
Os números são bons, e são deles
A MarkTechPost leu assim os gráficos de Pareto do repositório, todos a 131.072 tokens de contexto:
| Fase | Configuração | Resultado autodeclarado |
|---|---|---|
| Decode | 256 requisições por rank, EP64 | acima de 25.000 tokens/s por GPU, perto de 100 tokens/s por usuário |
| Decode | 8 requisições | mais de 300 tokens/s por usuário |
| Prefill | 4.096 tokens por rank | cerca de 60.000 tokens não cacheados/s por GPU |
| Prefill | 65.536 tokens por rank | perto de 90.000 tokens/s por GPU, cerca de 730 ms por passo |
O comprimento padrão de rascunho na decodificação especulativa é 5, controlado pela variável DEEPINFER_USE_NEXTN_DECODE. O mesmo Q&A atribui ao DSpark um corte de cerca de 30% nos tokens de rascunho verificados, que caem de 5,00 para algo entre 3,2 e 4,4, com comprimento aceito de 3,29 contra 3,20. Verifica-se menos e aceita-se um pouco mais, que é exatamente o que se quer. A DeepSeek também afirma que um único cluster serve 155 trilhões de tokens por dia e que a receita chega a US$ 38 por GPU-hora no preço de vale.
O problema desses números é que estão sozinhos. Não há comparação publicada com vLLM, SGLang ou TensorRT-LLM no mesmo hardware e com o mesmo modelo, nem reprodução independente até agora. É o fornecedor medindo o próprio motor, no próprio cluster, com o próprio modelo. Isso merece o tratamento que damos a benchmark de fabricante de celular: respeito, curiosidade e um pé atrás.
O melhor argumento contra mim
O contraponto mais forte é que estou cobrando de um presente o que ele nunca prometeu. A DeepSeek não precisava abrir a stack de produção e abriu com Apache 2.0, uma licença permissiva que admite uso comercial. Segundo a MarkTechPost, publicou ainda o deepseek-recipe sob MIT. O efeito já aparece: a The Next Web relata que o vLLM (abre em nova aba) agradeceu publicamente e disse que vai continuar melhorando seu suporte ao V4.1-Flash com ideias do DeepInfer. A invariância ao batch e o determinismo, sozinhos, valem ouro para quem roda avaliações e aprendizado por reforço e precisa que a mesma entrada produza a mesma saída. E no dia seguinte ao anúncio o repositório já somava 13,8 mil estrelas e 1,3 mil forks. Tem muita gente querendo ler.
Concordo com tudo isso, e é justamente por isso que mantenho a tese. Se o principal efeito do DeepInfer é melhorar o vLLM, ele funciona como documento técnico executável, e não como produto. A ironia é circular e saborosa. O README conta que o framework nasceu construído principalmente sobre o vLLM, com inspiração no SGLang (abre em nova aba) e no TensorRT-LLM. O vLLM emprestou a base e a DeepSeek devolve com juros. Quem vai sacar o rendimento é quem já usa o vLLM.
O retrato do repositório em 21 de outubro reforça o ponto: três commits, nenhuma release e dois contribuidores listados. Isso é um snapshot, ainda não um projeto com comunidade. A DeepSeek diz que o código de modelos futuros e as próximas melhorias vão chegar ao mesmo lugar. Por enquanto é anúncio, e anúncio de roadmap em open source tem meia-vida conhecida.
A geopolítica mora no README
Há uma linha nos requisitos que vale mais que muito comunicado: CUDA 13 ou CANN 9.2. Blackwell e Ascend 950 aparecem lado a lado, como pares. Segundo a Quartz, no mês passado a DeepSeek anunciou parceria com a Huawei para criar ferramentas de programação para chips Ascend. Na mesma ocasião, abriu seis módulos de software para a plataforma, entre eles uma versão do TileLang adaptada ao Ascend 950. Os chips de ponta da NVIDIA estão sob controles de exportação americanos para a China. Nesse cenário, um motor de produção que roda nos dois mundos funciona como seguro e também como recado: a DeepSeek não quer depender de um fornecedor que pode ser fechado por decreto.
Para quem está no Brasil, o recado muda pouco a vida prática. O caminho realista para testar o DeepInfer é alugar Blackwell em nuvem, desde que haja capacidade e orçamento para dezenas de GPUs. O Ascend 950, para o desenvolvedor brasileiro, é por ora mais declaração de princípios que opção de compra. E quem escolher esse caminho ainda abre mão do determinismo.
O que fazer com isso
Para quem tem acesso a dezenas de Blackwells, o modo só offline tem uso concreto: processamento em lote, geração de dados sintéticos e avaliações em massa. São cargas em que ninguém espera a resposta na tela e em que o determinismo vira vantagem competitiva. Para quem não tem, a recomendação é ler o código. Os kernels, o DSpark e a implementação da invariância ao batch são material de estudo de primeira, do tipo que raramente sai de dentro de uma empresa que atende tráfego real. Para servir o V4.1-Flash em produção, o melhor é acompanhar o vLLM e o SGLang. É lá que essas ideias devem desembarcar, agora com cache, servidor e balanceamento incluídos.
A DeepSeek fez uma coisa rara e merece crédito por ela. Só não convém confundir gentileza com conveniência. Ganhamos a receita do chef, com o tempero e tudo, mas o fogão de 128 bocas continua por nossa conta.