Todo anúncio de modelo traz dois números. Um vai para o título, o outro explica o resultado. No Sterling, que a Samaya AI (abre em nova aba) apresentou em 28 de outubro, o número do título é o 11: segundo a empresa, um modelo de 3 bilhões de parâmetros ativos supera o Claude Fable 5.1 no FrontierFinance custando onze vezes menos por pergunta. O número que explica é bem mais modesto, quatro centavos de dólar. É quanto custa, por pergunta, o modelo propriamente dito. O restante da conta é outra coisa, e é nessa outra coisa que a manchete se perde.
Minha posição é esta. O Sterling é um resultado de pós-treino que quem constrói agentes deveria estudar com lupa. O "11x mais barato que o Claude" é a parte menos confiável dele, porque o multiplicador mistura harness, critério de contabilidade e escolha de adversário. Quem merece atenção é a receita.
A receita é a melhor parte
O relatório técnico no blog da Samaya (abre em nova aba), assinado por cinco pesquisadores, descreve o Sterling como o Nemotron 3.5 Lightning, da NVIDIA, pós-treinado com LoRA na API Tinker, do Thinking Machines Lab. O Nemotron é um mixture-of-experts aberto de 30B parâmetros, com 3B ativos por vez e raciocínio habilitado. Ninguém pré-treinou nada, ninguém comprou um datacenter. O modelo base partiu de 42,5% no benchmark e subiu em quatro degraus:
- SFT sintético: 968 perguntas, Kimi K3 como professor, 37 ferramentas. Resultado: 51,4%.
- SFT best-of-eight sobre 1.157 das 1.819 perguntas escritas por especialistas. Resultado: 54,8%.
- GRPO offline. Resultado: 57,5%.
- GRPO online. Resultado: 58,9%.
Dois detalhes dizem mais que o placar final. No terço mais difícil do benchmark, o modelo foi de 31,8% para 45,2%. E a mediana de chamadas de ferramenta por pergunta saltou de 3 para 17. A leitura mais plausível é que o reforço não injetou conhecimento financeiro no modelo. Ensinou-o a desconfiar da primeira resposta e ir buscar o dado. Um analista júnior que abre o balanço antes de opinar vale mais que um sênior que opina sem abrir.
No anúncio oficial no X, a própria Samaya faz questão de dividir o crédito entre o modelo e a estrutura em volta dele:
Apresentando o Samaya Sterling: nosso primeiro modelo pós-treinado para pesquisa financeira de ponta. No FrontierFinance, o Sterling supera o Claude Fable 5.1 (58,9% vs. 55,9%) com custo 11× menor. Usando um modelo com apenas 3B de parâmetros ativos, o Sterling demonstra o que é possível quando treinamento especializado encontra um harness de pesquisa financeira construído sob medida. Leia a pesquisa completa ↓
Guarde a última frase antes do link: "harness construído sob medida". É ali que o 11x mora.
Onde mora o 11x
Este é o topo do leaderboard publicado pela Samaya (abre em nova aba):
| Sistema | FrontierFinance | Latência | Custo por pergunta | O custo inclui |
|---|---|---|---|---|
| Samaya Sterling | 58,9% | 282 s | US$ 0,61 | modelo, ferramentas e modelos auxiliares |
| Sistema anterior da Samaya (alto esforço) | 56,0% | 278 s | US$ 1,81 | só o modelo agêntico |
| Claude Fable 5.1 · Finance Agent v2 (alto) | 55,9% | 268 s | US$ 6,89 | só o modelo agêntico |
| Muse Spark Open · Finance Agent v2 (xhigh) | 53,7% | 234 s | US$ 1,38 | só o modelo agêntico |
| Claude Opus 5.5 (alto) | 50,9% | 148 s | US$ 1,87 | só o modelo agêntico |
O Claude Fable 5.1 rodou no Finance Agent v2, um harness open source que a Samaya adaptou com teto de 200 chamadas de ferramenta e limite de 300 segundos. O Sterling rodou no harness da casa. São dois carros em pistas diferentes, e a manchete compara os motores.
A segunda linha da tabela mostra o quanto o harness pesa. O sistema anterior da própria Samaya, em alto esforço, já marcava 56,0% antes de o Sterling existir, um décimo de ponto acima do Claude. Sobre a própria casa, o modelo novo ganha 2,9 pontos e derruba o custo de US$ 1,81 para US$ 0,61. É um bom ganho. Não é a mesma coisa que bater o Claude por onze vezes.
A comparação de modelo contra modelo existe, mas fica escondida no meio do relatório. Rodando no mesmo harness da Samaya, os modelos fechados de fronteira custam entre US$ 0,56 e US$ 0,95 só na etapa de pesquisa. O Sterling custa US$ 0,04. Em razão, a diferença passa de onze vezes. Ela só não vira 11x na conta total porque a conta total é quase toda de ferramentas e modelos auxiliares.
A contabilidade também não é uniforme, e aqui a Samaya merece crédito pela franqueza das notas de rodapé. O custo do Sterling inclui modelo, ferramentas e modelos auxiliares, com tokens do agente em cache. O dos demais conta só o modelo agêntico, sem API de busca nem indexação de dados. Isso joga contra o Sterling, não a favor. Mesmo assim, a coluna de custo soma laranjas com cestas de frutas.
Resta a escolha do adversário. Contra o Claude Opus 5.5, que custa US$ 1,87, a diferença de preço cairia para cerca de três vezes. Escolher o Fable 5.1 é defensável, porque ele é o melhor modelo de fronteira da tabela. Por acaso, também é o mais caro. O multiplicador, aliás, é a variável mais instável dessa história. Em julho, no lançamento do benchmark (abre em nova aba), a Samaya falava que seu agente custava cerca de 4x menos que o Claude Fable 5. No paper do FrontierFinance (abre em nova aba), de agosto, a vantagem de custo do sistema da casa era de cerca de 2,2x, com o Fable 5 a US$ 4,06 por pergunta. Agora o Fable 5.1 aparece a US$ 6,89. Parte do 11x vem do adversário que ficou mais caro.
Quatro centavos de prato, 57 de couvert
Dos US$ 0,61 do Sterling, US$ 0,04 são do modelo e o resto vai para ferramentas e auxiliares. O modelo virou o item mais barato do cardápio, e essa é a notícia de verdade para quem projeta agentes. Com 17 chamadas de ferramenta na mediana, otimizar o LLM daqui para frente rende centavos. A conta grossa está na recuperação de dados e nos modelos auxiliares. O reforço deixou o modelo mais trabalhador, e um modelo trabalhador gasta em ferramenta o que economiza em token.
Barato, no caso, não quer dizer rápido. São 282 segundos por pergunta, cerca de 5% mais lento que o Claude e quase cinco minutos no relógio. É job em lote, não chat. A versão de alto esforço chega a 60,6%, a US$ 1,83 e 372 segundos (média de duas execuções). Pelo preço do sistema anterior da Samaya em alto esforço, leva 4,6 pontos a mais. Talvez seja a comparação mais limpa do relatório inteiro. Se a regra das notas de rodapé valer também aqui, a conta do Sterling ainda carrega ferramentas que a outra não carrega.
O melhor argumento a favor da Samaya
O contraponto sério não é "benchmark da casa, logo não vale nada". É mais sofisticado. O FrontierFinance é aberto: 220 perguntas, 11.543 itens de rubrica, dataset no Hugging Face (abre em nova aba), código de avaliação no GitHub (abre em nova aba) e paper no arXiv. As perguntas do benchmark ficaram fora do treino, e os checkpoints foram escolhidos em 100 perguntas de validação internas. Qualquer um pode rodar o Claude e conferir os 55,9%. E o salto de 42,5% para 58,9% foi medido no mesmo harness, contra o próprio modelo base: maçã com maçã.
Concordo com quase tudo. O problema está no "quase". A abertura vale para o adversário, não para o protagonista. Sem pesos e sem API, ninguém de fora consegue rodar o Sterling. O MarkTechPost (abre em nova aba) classifica os 58,9% como autodeclarados, e até aqui nenhuma avaliação independente reproduziu o número.
Há também a questão do campo. O benchmark saiu de anotações internas: a Samaya diz ter mais de 4.500 perguntas anotadas e reserva o restante para P&D. O treino usou 1.819 perguntas escritas por especialistas, e o relatório não diz de onde elas vieram. A hipótese razoável é que tenham o mesmo estilo, a mesma rubrica e talvez os mesmos anotadores. Se for assim, o Sterling joga em casa, num gramado que conhece de cor. Não é trapaça, é exatamente o que especialização significa. Só que isso reduz "supera o Claude" a "supera o Claude no tipo de pergunta que a Samaya sabe fazer".
A métrica também merece leitura fina. Os 58,9% são a fração de itens de rubrica satisfeitos, com média de 52,5 itens por pergunta, julgados por maioria de três modelos-juízes. Três pontos percentuais equivalem, em média, a pouco mais de um item e meio a mais por pergunta. A Samaya não publicou o desempenho do Sterling por caso de uso. O material divulgado também não traz nada sobre taxa de alucinação em números financeiros, justamente o erro que custa caro numa mesa de análise.
O que sobra para quem desenvolve
Na prática, quase nada para baixar. O post não anuncia pesos públicos nem API e não revela o contexto de serviço nem o hardware do Sterling. O que se sabe vem do modelo base: segundo o MarkTechPost, o Nemotron 3.5 Lightning aceita até 1 milhão de tokens e cabe numa única H100 de 80 GB em BF16 com 256 mil de contexto. O anúncio não menciona idiomas além do inglês, o que deixa em aberto o uso em pesquisa sobre empresas brasileiras. Resultados com modelos maiores foram prometidos para depois.
Sobra a receita, que dá para reproduzir com peças de prateleira:
- uma base MoE aberta;
- LoRA numa API de terceiros;
- SFT sintético com um modelo professor;
- best-of-n sobre perguntas de especialistas;
- GRPO offline e depois online.
Nenhuma dessas peças é segredo. O segredo são as 1.819 perguntas escritas por quem entende do assunto, as rubricas que as acompanham e um harness ligado a dados públicos, afinado ao longo de meses. Quem tentar repetir o feito em outra vertical vai descobrir que o caro não é a GPU, é o especialista.
O Sterling não prova que modelo pequeno vence modelo grande. Prova uma coisa menos vistosa e mais útil: num domínio com dados próprios, rubricas e ferramentas, o modelo virou o componente barato, e o valor migrou para tudo o que está em volta. Talvez por isso a Samaya publique o benchmark e o código de avaliação, mas não os pesos. O 11x serve para o release. Para quem constrói agentes, o número que interessa é US$ 0,04, e a pergunta que fica é quem paga os outros 57 centavos.