Por que modelo pequeno com RL supera um 235B?

Um modelo pequeno com RL de 4 bilhões de parâmetros superou sua variante de 235 bilhões em perguntas financeiras, gastando menos de US$ 500 no treinamento. Esse é o resultado que Charles Dickens, da Snorkel AI, apresentou na AI Engineer World's Fair 2026, em parceria com o Sky Computing Lab da UC Berkeley.

Modelo pequeno com RL: o que o estudo mostrou

Um modelo pequeno com RL de 4 bilhões de parâmetros superou sua variante de 235 bilhões em perguntas financeiras, segundo Charles Dickens, cientista pesquisador sênior da Snorkel AI, em palestra na AI Engineer World's Fair de 2026. O modelo treinado alcançou cerca de 60% de acerto na primeira tentativa, contra 51% do modelo maior. Todo o custo ficou abaixo de US$ 500.

O trabalho é uma parceria entre a Snorkel AI e o Sky Computing Lab da UC Berkeley, com créditos a Manon Rupta, Shujian Tang (Berkeley) e Bhavishya e Chris Glaze (Snorkel). Os scripts de treinamento, os dados sintéticos e os artefatos foram liberados no GitHub e no Hugging Face, de acordo com o palestrante.

A tese central é específica: em cargas de trabalho empresariais, confiabilidade e especialização podem superar a escala bruta de parâmetros quando você tem dados que representam de fato o domínio e a distribuição de tarefas. Dickens apresentou o resultado como um estudo de caso em ambiente financeiro simulado, não como uma lei geral.

Este artigo reconstrói o método a partir da palestra e dos números divulgados nela. Todos os resultados abaixo são, portanto, relatos do próprio time responsável pelo projeto, não medições independentes.

Como o dataset FinQA da Snorkel foi construído

O FinQA da Snorkel é um conjunto de dados de perguntas e respostas financeiras validado por especialistas, criado para treinar e avaliar agentes que usam ferramentas. O nome coincide com benchmarks financeiros anteriores de outros grupos, mas este conjunto é da Snorkel e foi anunciado em 2026.

A construção seguiu três etapas. Primeiro, a extração: relatórios 10-K, documentos anuais exigidos pela SEC para empresas de capital aberto, foram coletados no sistema EDGAR. Depois, o Qwen3 de 30 bilhões de parâmetros gerou aproximadamente 6.900 tabelas SQL e um par de pergunta e resposta por tabela, guiado por uma taxonomia desenvolvida com especialistas financeiros. Por fim, a verificação em três camadas.

A camada de verificação combina checagens programáticas de consistência (usando linhagem, nomes de tabelas e colunas para detectar alucinações), revisões automatizadas por agentes independentes e revisão manual humana. O resultado foram 4.000 exemplos para treino, 500 para validação e 290 no benchmark retido, divididos de modo que nenhuma empresa se sobreponha entre as partições.

Três modos de falha que derrubam modelos grandes

Mesmo modelos de fronteira apresentaram lacunas recorrentes nos dados, segundo a equipe. Os três modos de falha observados explicam por que a disciplina, e não o raciocínio profundo, era o gargalo.

1. Alucinação de esquema. O modelo assume que tabelas e colunas existem, provavelmente por resíduo do pré-treinamento, e constrói consultas sobre estruturas que nunca estiveram no banco.
2. Inundação de contexto. Consultas mal planejadas, como um SELECT * em tabelas enormes, consomem o próprio limite de contexto do agente quando a consulta funciona.
3. Má recuperação de erros. Diante de uma falha, o agente repete a mesma estratégia em vez de ler a mensagem de erro e mudar de abordagem.

Dickens relatou que esses mesmos padrões apareceram fora do ambiente financeiro, inclusive em um trabalho de subscrição de seguros apresentado na conferência CAIS semanas antes da palestra.

Como foi o treinamento com rLLM

O ajuste usou o rLLM, framework de código aberto desenvolvido pelo Sky Computing Lab, que aceita qualquer estrutura de agentes com quase zero mudança de código por meio de um padrão de decorador. Ele integra algoritmos como GRPO, REINFORCE e PPO e suporta múltiplos backends de treinamento.

A configuração relatada: modelo base Qwen3 de 4 bilhões de parâmetros, otimização com GRPO, recompensa binária de acerto decidida por um modelo juiz (GPT 5 nano) usando avaliação baseada em referência. O agente roda em um ciclo ReAct com ferramentas para consultar as cerca de 7.000 tabelas do ambiente.

Os números de custo, segundo o palestrante: cerca de 1.000 ambientes simultâneos gerando trajetórias, em oito GPUs H100, com custo total abaixo de US$ 500 — aproximadamente US$ 420 de computação e US$ 40 da API do juiz.

Resultados: 4B contra 235B e generalização

Na partição retida de 290 amostras, o modelo de 4 bilhões mais que dobrou a precisão do baseline e superou sua variante de 235 bilhões, conforme os números apresentados pelo time. A tabela abaixo resume os resultados relatados.

Avaliação	Qwen3 4B base	Qwen3 4B com RL	Qwen3 235B
FinQA (290 amostras)	~30% (metade do treinado)	~60%	51%
FinQA multi-tabela (80 amostras)	—	ganho sem treino explícito	—
BFCL (chamada de ferramentas)	—	leve melhora geral	—

Para testar generalização, a equipe criou uma variante com dependências entre duas a cinco tabelas, exigindo planejamento sequencial: cerca de 1.000 exemplos de treino, 120 de validação e 80 de benchmark. A disciplina de uso de ferramentas transferiu diretamente, sem nenhum exemplo multi-tabela no treinamento.

Houve também uma checagem de regressão no BFCL, benchmark de chamada de ferramentas coordenado pela UC Berkeley. A precisão geral melhorou ligeiramente, com pequenos ganhos em conversas de vários turnos e memória — a especialização não corroeu a competência ampla do modelo, segundo o relato.

O que as ablações revelaram sobre dados e recompensas

Duas ablações isolaram o que impulsionou o desempenho, e ambas favoreceram o mais simples.

Mistura de dados

A equipe comparou três misturas: apenas dados de tabela única, a combinação de tabelas únicas e múltiplas, e um currículo que começava nas únicas e avançava para as múltiplas. Treinar só com o conjunto mais simples produziu o maior ganho. Isso explica parcialmente a transferência para o cenário multi-tabela: o gargalo nunca foi a profundidade do raciocínio, e sim o uso de ferramentas.

Engenharia de recompensa

A variante mais sofisticada foi uma rubrica desenhada com especialistas, com pontuação detalhada e múltiplos componentes ponderados. Apesar do investimento, o sinal binário simples de acerto continuou trazendo o maior ganho nesses dados.

A leitura da Snorkel é que pequenos modelos treinam bem com RL quando os dados representam as tarefas desejadas, o que melhora a economia de implantação em domínios especializados. Dickens afirmou que o time viu e repetiu o padrão em saúde, direito e seguros.

FAQ

• O modelo de 4B venceu o de 235B em tudo? Não. O resultado relatado é específico do benchmark financeiro de 290 amostras construído pela própria equipe. Em capacidade geral, o modelo maior continua mais forte; o BFCL mostrou apenas que a especialização não degradou o uso de ferramentas.

• Quanto custou o treinamento? Segundo a palestra, menos de US$ 500 no total: cerca de US$ 420 de computação em oito H100 e US$ 40 na API do modelo juiz, com cerca de 1.000 ambientes simultâneos.

• Por que uma recompensa binária simples funcionou melhor? Porque o gargalo era a disciplina no uso de ferramentas, não a profundidade do raciocínio. Um sinal claro de acerto já ensina isso; rubricas complexas com componentes ponderados não superaram o sinal simples nesses dados.

• Os recursos estão disponíveis publicamente? Segundo o palestrante, sim: scripts de treinamento, dados sintéticos e o modelo foram liberados no GitHub e no Hugging Face pelo time da Snorkel e do Sky Computing Lab.

• Posso aplicar isso ao meu domínio? O estudo sugere que sim, desde que você tenha dados de alta qualidade representando a distribuição real de tarefas. Dickens relatou repetição do padrão em saúde, direito e seguros, mas esses domínios foram citados sem números públicos detalhados.

• O FinQA da Snorkel é o mesmo dataset de 2021? Não. O nome coincide com benchmarks financeiros anteriores, mas o conjunto descrito aqui foi construído pela Snorkel em parceria com a UC Berkeley e anunciado em 2026.

• O que é o rLLM? É um framework de código aberto do Sky Computing Lab para treinar agentes com aprendizado por reforço, com suporte a GRPO, REINFORCE e PPO e integração por decorador a qualquer estrutura de agentes.

• Esse resultado prova que modelos pequenos substituem modelos de fronteira? Não. Ele mostra que, em uma tarefa especializada com dados verificados, um modelo pequeno treinado com RL pode alcançar paridade ou vantagem específica. A própria Snorkel apresentou o caso como exemplo pontual, não como regra geral.

• Onde consigo me aprofundar em engenharia de IA na prática? Conteúdos como o Bootcamp do Dev Doido, do Gustavo Dev Doido, e a trilha Crazystack Typescript cobrem fundamentos de desenvolvimento aplicado que ajudam a reproduzir setups parecidos com este.

Da palestra gravada ao artigo que você acabou de ler

A lição deste estudo é que dados bem construídos e um sinal de recompensa simples valem mais do que escala ou sofisticação. O mesmo vale para transformar conhecimento: uma palestra de 17 minutos cheia de números e decisões só gera valor escrito se o fluxo de transcrição e edição preservar a sequência causal — o problema, os dados, o método e o resultado.

Se você tem aulas, entrevistas ou análises guardadas em vídeos do YouTube, o Skala Blog faz exatamente esse trabalho: você cola a URL, o vídeo é transcrito e vira um artigo estruturado como este, pronto para revisar e publicar.

Para quem está começando na área e quer a base de código por trás de projetos assim, vale acompanhar o Gustavo Dev Doido no Bootcamp do Dev Doido e a trilha Crazystack Typescript da Crazystack.

Source video