Grande parte da velocidade nos sistemas atuais de inteligência artificial depende de um truque de bastidor: colocar um modelo pequeno e hiperativo para chutar palavras rapidamente enquanto um modelo gigante vem atrás apenas corrigindo os erros. Essa técnica, conhecida como decodificação especulativa, funciona muito bem na prática, mas esconde uma pergunta óbvia sobre a capacidade real desses assistentes. O que acontece quando você demite o chefe revisor e obriga o modelo de rascunho a escrever um texto inteiro por conta própria? Um estudo publicado no arXiv (abre em nova aba) em 29 de outubro fez exatamente esse teste e mostrou que a eficiência do rascunho rápido evapora assim que o texto passa de 16 tokens.
Para descobrir quem aguenta o tranco sem ajuda externa, os pesquisadores Yujian Chen, Hao Jiang, Guang Cheng, Weijian Luo e Tianyang Hu colocaram duas arquiteturas rivais de geração rápida frente a frente. De um lado ficaram os modelos de rascunho especulativo (baseados no sistema DSpark), construídos para sugerir sequências rápidas na esperança de que outro sistema valide o trabalho. Do outro lado entrou um modelo de difusão contínua (chamado LangFlow), que opera com uma lógica oposta: em vez de adivinhar palavra por palavra em fila indiana, ele joga um bloco bruto de texto na tela e refina o conjunto inteiro em várias passadas, limpando o ruído até a frase fazer sentido.
O mérito do experimento foi nivelar o jogo do zero. Todos os modelos foram treinados na mesma base de dados (OpenWebText), com o mesmo orçamento computacional, dimensões idênticas e sem nenhum modelo maior atuando como rede de segurança. Na prova de tiro curto, gerando fragmentos minúsculos de apenas 16 tokens, a versão do rascunhador equipada com memória recorrente (DSpark-RNN) levou a melhor. Porém, quando a tarefa subiu para textos de 128 e 1024 tokens, o LangFlow atropelou todas as variantes do DSpark nas duas réguas de qualidade adotadas pelos cientistas: fluência (medida pela métrica GenPPL) e proximidade com textos escritos por humanos (métrica MAUVE).
A explicação para esse tombo em textos longos está na miopia estrutural de como os rascunhadores tomam decisões. A análise matemática do estudo mostrou que a versão básica do DSpark (com arquitetura de Markov) olha apenas para o token imediatamente anterior na hora de escolher o próximo, perdendo completamente o fio da meada conforme o parágrafo cresce. Como mostram as análises sobre limites de arquitetura que acompanhamos no IA.com.br, atalhos para economizar processamento quase sempre cobram a conta na coerência do resultado final.
Os pesquisadores até tentaram consertar essa visão de túnel, mas os remendos tiveram fôlego curto. Adicionar uma memória recorrente (no DSpark-RNN) eliminou a restrição de olhar só para a palavra vizinha e melhorou as notas gerais, mas não foi suficiente para alcançar o modelo de difusão nas sequências de 128 e 1024 tokens. Outra tentativa clássica da indústria, treinar o modelo menor para imitar as probabilidades de um modelo professor, melhorou a métrica técnica de perplexidade na versão de Markov, mas não trouxe nenhum ganho observável na semelhança real com textos humanos medida pelo MAUVE.
Enquanto os rascunhadores bateram no teto da própria arquitetura, o LangFlow mostrou a vantagem de funcionar como um editor paciente. Ao simplesmente aumentar o número de etapas de limpeza e revisão do texto com os pesos do modelo congelados (ou seja, sem gastar um centavo a mais com novo treinamento), os autores melhoraram o desempenho do modelo de difusão nos tamanhos de 16 e 128 tokens, virando o placar contra o DSpark-RNN. No fim das contas, para quem tenta criar IAs leves que precisem caminhar com as próprias pernas em textos longos, a lição é clara: dar ao modelo a chance de revisar a página inteira várias vezes entrega muito mais qualidade do que tentar adivinhar o próximo passo no escuro.