Na terça-feira (20), a chinesa DeepSeek (abre em nova aba) publicou no GitHub o código do DeepInfer (abre em nova aba). É o programa que a empresa usa para atender, em escala industrial, quem conversa com o seu modelo DeepSeek-V4.1-Flash. A licença é a Apache 2.0, uma das mais generosas do software livre: qualquer um pode baixar o código, alterá-lo, embuti-lo num produto e cobrar por isso. Na quarta-feira, a página já exibia 13,8 mil estrelas e 1,3 mil cópias derivadas.
Para medir o gesto, convém separar as duas contas da inteligência artificial. Treinar um modelo é a obra: cara, demorada, feita uma vez. Rodá-lo, o que o jargão chama de inferência, é a despesa de todo dia, paga a cada pergunta de cada usuário. É nessa segunda conta que se decide se quem vende IA ganha ou perde dinheiro. Por isso, quem tem um motor eficiente costuma ter bons motivos para guardá-lo a sete chaves.
A DeepSeek fez o contrário e embrulhou a decisão numa causa. No anúncio oficial, publicado no X, a empresa apresentou o DeepInfer como a peça que sustenta seu serviço em produção. Justificou a abertura com três palavras que agradam a qualquer plateia: custo, energia e preço.
Apresentando o DeepInfer, nosso framework de inferência interno, agora totalmente open source! Movendo o DeepSeek-V4.1-Flash em escala, com alta vazão e baixa latência. Estamos compartilhando nossa pilha de produção para ajudar a comunidade a reduzir custos de computação, diminuir o uso de energia e tornar a IA mais barata.
O "totalmente" tem asterisco
O próprio repositório desmente o advérbio, porque ficaram de fora três peças. A primeira é o sistema de cache, a memória que evita recalcular o que o modelo já leu. A segunda é a separação entre a etapa que lê a pergunta e a que escreve a resposta, que a DeepSeek opera em grupos distintos de máquinas. A terceira é a distribuição de carga entre várias cópias do sistema. A empresa ressalva que boa parte do necessário para aquela separação já está no código. Os músicos estão lá. Falta o maestro.
Há outro detalhe, contado pela própria DeepSeek num documento de perguntas e respostas do repositório, segundo o MarkTechPost. A versão interna do FlashMLA, uma das rotinas que fazem o cálculo pesado, é de 5% a 10% mais rápida que a publicada. No resultado final, a empresa estima a diferença em 5% ou menos. É o motor de produção, sim, com uma marcha a menos.
Os números da casa
O mesmo documento traz números que valem pelo atrevimento de publicá-los. A unidade de conta é o token, o pedaço de palavra com que o modelo trabalha. Os testes usaram textos de 131.072 tokens, com 4 GPUs na leitura das perguntas e 64 na geração das respostas.
| O que a DeepSeek informa | Número |
|---|---|
| Tokens servidos por um único cluster, por dia | 155 trilhões |
| Receita por hora de cada GPU, na tabela mais barata (horário de vale) | US$ 38 |
| Geração de resposta, por GPU, com 256 pedidos por unidade | mais de 25 mil tokens/s |
| Velocidade sentida por cada usuário nesse cenário | perto de 100 tokens/s |
| Velocidade por usuário com só 8 pedidos simultâneos | mais de 300 tokens/s |
| Leitura de perguntas, por GPU | cerca de 60 mil tokens/s |
Tudo isso é autodeclarado. Ninguém de fora mediu. Ainda assim, uma empresa que expõe a própria receita por hora de máquina está dizendo ao mercado que inferência, para ela, já é negócio, e não caridade financiada por investidores.
Não é para o seu notebook
Agora, a conta de quem pretende usar o DeepInfer. A menor unidade de produção eficiente, diz a DeepSeek, reúne 64 GPUs para ler perguntas e outras 64 para escrever respostas. O código exige Linux e placas Nvidia de data center da geração SM100 ou chips Ascend 950 da Huawei. É ferramenta para provedores de nuvem, grandes empresas e laboratórios. O usuário comum só ganha por tabela, se a concorrência baratear o serviço que ele compra.
Quem ganha de saída é o ecossistema que deu origem ao programa. A DeepSeek reconhece que o DeepInfer nasceu sobretudo do vLLM (abre em nova aba), projeto aberto de execução de modelos, com ideias de outros dois, o SGLang e o TensorRT-LLM. O vLLM agradeceu o crédito no X e avisou, segundo o The Next Web, que vai melhorar o próprio suporte ao V4.1-Flash com ideias tiradas do DeepInfer. O que saiu do condomínio voltou ao condomínio, reformado.
A Huawei na mesma página da Nvidia
O detalhe mais político está na lista de equipamentos. Pôr o chip chinês ao lado da Nvidia não foi acaso. No mês passado, informou o Quartz, a DeepSeek anunciou parceria com a Huawei para criar ferramentas de programação para os Ascend. Na mesma ocasião, abriu seis módulos de software para a plataforma, entre eles uma versão do TileLang adaptada ao 950. O tratamento, porém, ainda não é igual. Os dois recursos que fazem o modelo devolver exatamente o mesmo resultado para a mesma entrada estão documentados só para Nvidia.
O repositório tem três registros de alteração, nenhuma versão oficial e suporta um único modelo. A DeepSeek promete que modelos futuros e melhorias chegarão ao mesmo endereço. Por enquanto, é mais vitrine do que produto acabado. Mas é uma vitrine com etiqueta de preço: quem cobra caro para rodar IA passou a concorrer com um manual gratuito escrito por uma empresa que diz servir 155 trilhões de tokens por dia num só cluster.