Pular para o conteúdo
    NotíciaInfraestrutura e hardware

    Por que tentar baratear a IA deixa tudo lento e como cortar 35% da espera no mesmo chip

    Atualização de guia técnico da Baseten e dados do Google Cloud mostram que ajustes comuns só trocam custo por lentidão, enquanto técnicas na chamada fronteira eficiente reduzem o tempo de resposta sem exigir novos equipamentos.

    Processador de servidor visto de perto em uma placa de circuito, iluminado por feixes de luz de fibra óptica nas cores âmbar e azul ciano que destacam os microcomponentes metálicos.
    Técnicas avançadas de otimização de software permitem reduzir a latência e os custos de processamento usando o mesmo hardware de servidor.

    Tentar reduzir a conta de inteligência artificial apenas agrupando mais pedidos de usuários no mesmo servidor costuma provocar o efeito inverso para quem está diante da tela: respostas lentas e manutenção do desperdício. Essa distinção é o ponto central da atualização de novembro de 2026 do guia técnico da Baseten (abre em nova aba), plataforma de infraestrutura de software, detalhada nesta segunda-feira (16) pelo portal Explainx.ai (abre em nova aba) e alinhada a relatórios de engenharia do Google Cloud (abre em nova aba). Em um estudo de caso da ferramenta GKE Inference Gateway, o Google registrou queda de 35% no tempo até a primeira palavra aparecer para o usuário sem trocar placas de vídeo nem modelos, apenas filtrando quais tarefas exigiam programas gigantes. O resultado, contudo, foi obtido em uma estrutura de nuvem configurada com roteamento dedicado e não representa um ganho automático para qualquer instalação.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​​‌‌‌​​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​‌‌​​​‌​​​‌‌​‌‌‌​‌‌​​​‌​​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​​‌‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​​‌‌​​​‌​‌‌​​‌​​​​‌‌​​‌​​​‌​‌‌​‌​‌‌​​​​‌​​‌‌​​​​​​‌‌‌​​‌​​‌‌​​​​​​‌​‌‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​‌‌​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌​⁠

    Quando uma empresa coloca um grande modelo de linguagem (LLM, a tecnologia por trás de robôs de conversa como o ChatGPT e o Claude) para atender clientes ou escrever código, cada resposta gerada passa por uma etapa chamada inferência, que é o trabalho de processar a pergunta e redigir o retorno em tempo real. A impressão inicial de muitas equipes é que basta aumentar o lote de pedidos atendidos de uma só vez para diluir o custo do equipamento. A conta não fecha dessa maneira. A partir do conceito econômico de fronteira eficiente, que define o máximo de rendimento possível dentro de um orçamento fixo, o engenheiro Philip Kiely, autor do documento da Baseten, demonstra que juntar solicitações em lotes maiores apenas troca vazão (o volume total de pedaços de palavras, chamados de tokens, entregues por segundo para todos os usuários) por latência (o tempo que cada pessoa espera pela própria resposta).

    Mudar de lugar na fila não amplia a capacidade da sala. Para acelerar a entrega e baratear o processo de verdade, a documentação da Baseten, baseada no uso de modelos como GLM-5.3 e Kimi K3 em tarefas de programação, separa essas trocas simples de três ajustes que empurram a própria fronteira de eficiência para frente: melhorias nos programas internos que controlam os chips (os kernels), divisão física entre os servidores que leem o texto enviado e os que escrevem a resposta, e a chamada decodificação especulativa (método em que um modelo pequeno faz um rascunho rápido das próximas palavras e o modelo principal apenas revisa o bloco inteiro de uma vez). Outra saída é a quantização, que reduz as casas decimais das contas internas para economizar memória. A empresa aponta que somar dois avanços independentes capazes de dobrar o rendimento multiplica a eficiência por quatro, mas ressalta que o comportamento real dos sistemas é cheio de quebras bruscas: pequenos cortes na precisão matemática podem arruinar a qualidade de um código de computador sem alterar notas em testes de vitrine, e fabricantes costumam divulgar recordes de velocidade usando lotes minúsculos que encarecem o uso real.

    Close-up de uma placa de circuito aberta exibindo um chip de processamento com trilhas douradas iluminadas por LEDs azuis e âmbar, com dois racks de servidores conectados por cabos de fibra óptica ao fundo em um data center.
    Otimizações técnicas avançadas permitem reduzir o tempo de resposta do processamento sem a necessidade de substituir os chips atuais.

    Em equipamentos físicos, esse atraso na resposta paralisa o trabalho mecânico. Também nesta segunda-feira (16), o pesquisador Yijia Fan divulgou testes práticos com o modelo CaPtain-4B rodando localmente em duas placas de vídeo RTX 4090 para controlar os braços robóticos SO-101 e XR1, que interrompem o movimento a cada comando até que a inteligência artificial termine de responder.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​​‌‌‌​​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​‌‌​​​‌​​​‌‌​‌‌‌​‌‌​​​‌​​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​​‌‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​​‌‌​​​‌​‌‌​​‌​​​​‌‌​​‌​​​‌​‌‌​‌​‌‌​​​​‌​​‌‌​​​​​​‌‌‌​​‌​​‌‌​​​​​​‌​‌‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​‌‌​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌​⁠

    (1/2) Novos experimentos em robôs reais com o CaPtain-4B, rodando localmente no SO-101 (SO-ARM) e no XR1, com zero dados de treinamento do mundo real. Para agentes robóticos que escrevem código, a latência é tudo: cada requisição pausa o braço até que o modelo de visão e linguagem responda. Com quantização + decodificação especulativa (cabeça de rascunho ajustada nas próprias saídas do agente), cortamos a inferência em 2x RTX 4090 de 5,1s para 0,76s por requisição (1,2s de tempo de espera do robô).

    , Yijia Fan (@YijiaFanCSAI), 16 de nov. de 2026, no X

    Para quem contrata serviços de inteligência artificial no escritório, o corte de gastos depende tanto de organizar os pedidos quanto de escolher o fornecedor certo. No caso documentado pelo Google Cloud e relatado por desenvolvedores na comunidade DEV (abre em nova aba), encaminhar tarefas simples de formatação ou resumo para modelos menores e manter instruções fixas sempre no início do texto dobrou o reaproveitamento da memória temporária (o cache) de 35% para 70%, reduzindo pela metade o custo de leitura repetida. Já na contratação direta das ferramentas, um levantamento da Digital Applied (abre em nova aba) com dados do segundo trimestre de 2026 avaliou 20 modelos de ponta e revelou que 14 deles perdem simultaneamente em preço, velocidade e qualidade para algum concorrente, como o Claude Opus 4.5 (cerca de US$ 30 por milhão de tokens no valor combinado), superado em nota e custo pelo modelo mais recente Claude Sonnet 4.6 (US$ 6 na mesma métrica). Embora a diferença de preços entre as 20 opções analisadas chegue a 1.000 vezes, a quantidade de modelos que realmente se mantêm na fronteira eficiente sem perder em todos os critérios para um rival resume-se a 6.⁠​‌​​‌​​‌​‌​​​​​‌​​‌​‌‌‌​​‌‌​​​‌‌​‌‌​‌‌‌‌​‌‌​‌‌​‌​​‌​‌‌‌​​‌‌​​​‌​​‌‌‌​​‌​​‌‌‌‌‌​​​​‌‌‌​​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​‌‌​​​‌​​​‌‌​‌‌‌​‌‌​​​‌​​​‌‌​‌‌‌​​‌​‌‌​‌​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​​‌‌​​‌‌​‌‌​​​‌​‌‌​‌​​‌‌​‌​​​​‌‌​​​‌​‌‌​​‌​​​​‌‌​​‌​​​‌​‌‌​‌​‌‌​​​​‌​​‌‌​​​​​​‌‌‌​​‌​​‌‌​​​​​​‌​‌‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​‌‌‌​‌‌​​‌​‌​​‌‌​​‌​​‌‌​​‌‌​​​‌‌​​‌‌​​‌‌​​‌​​​‌‌​‌‌​​​‌‌​​​‌​​‌‌​​‌​​​‌‌​​‌​⁠

    Este conteúdo foi útil para você?

    Foto de Leandro Vieira

    Leandro Vieira

    CEO e founder | IA.com.br

    Ver perfil completo