Como rodar modelo de 300B localmente passo a passo

Sim, você pode rodar modelo de 300B localmente em um mini PC de 128 GB, a 26–44 tokens por segundo. Os números de velocidade são dos desenvolvedores, em uma única máquina. Faltam benchmarks de tarefa para os pacotes exatos que estão no ar.

Rodar modelo de 300B localmente: o que é real hoje

Rodar modelo de 300B localmente já é possível em um mini PC de 128 GB com o chip AMD Ryzen AI Max+ 395, conhecido como Strix Halo. Dois modelos recentes foram comprimidos para perto de 100 GB e rodam a 26–44 tokens por segundo, segundo a tabela do próprio projeto. Em outubro de 2026, porém, ninguém publicou benchmarks de tarefa para esses pacotes exatos.

A conta inicial parece impossível: 320 bilhões de parâmetros a 16 bits pesam cerca de 640 GB, cinco vezes a memória da máquina. Três alavancas resolvem o problema juntas, e nenhuma delas funciona sozinha. Nos próximos blocos, cada uma aparece com seus números.

Vale deixar claro quem mediu o quê. Os números de velocidade vêm do repositório dos desenvolvedores, criado em 2 de outubro de 2026 e atualizado no dia 3, sob licença MIT. Não há reprodução independente até o momento, e o repositório ainda é novo demais para ter histórico.

Quantização EXL3: de 640 GB para cerca de 100 GB

A quantização reduz quantos bits cada peso do modelo ocupa, mantendo a estrutura da rede. O formato ExLlamaV3 suporta taxas muito baixas, e foi nele que os pacotes foram construídos. Pense numa biblioteca reimpressa em edições de bolso: mesmos títulos, mesmas prateleiras, só com tipografia menor.

Os números publicados mostram a escala do aperto. O pacote do MiMo-V2.6-Flash, modelo da Xiaomi com 309 bilhões de parâmetros, ocupa 105 GB, o que dá cerca de 2,7 bits por peso. O GLM-5.3-Flash, listado pela Z.ai com 320 bilhões, fica em 99,7 GB, cerca de 2,5 bits por peso.

A média esconde detalhes do card do GLM: o pacote partiu de uma base de 2,05 bits e copiou as camadas de especialistas 29 a 44 de um pacote de 3,05 bits. Nem toda parte sofre o mesmo aperto. Um build público de 4 bits do GLM lista 153 GB em disco, e ainda não cabe em 128 GB.

A sobra de memória é apertada. Subtraindo o pacote de 128 GB, restam uns 23 a 28 GB para o sistema operacional e para o cache de contexto, as anotações que o modelo guarda durante a conversa. Cabe, mas sem folga.

Memória unificada: por que 128 GB chegam à GPU

Num PC comum, RAM e memória de vídeo são mundos separados, e o modelo precisa atravessar o barramento PCIe. A Ryzen AI Max+ 395 da AMD elimina essa viagem: CPU e GPU integrada compartilham um único pool de até 128 GB de LPDDR5X a cerca de 256 GB por segundo, conforme as especificações do fabricante.

Dois avisos práticos vêm da documentação. O FAQ da AMD diz que a configuração de memória gráfica no Windows pode destinar até 96 GB à GPU. Já o mecanismo Kyojin pede uma máquina GFX1151 com 128 GB e testou apenas o caminho Linux com ROCm; como a atribuição de memória nesse cenário não está documentada, não dá para levar o número do Windows para outro sistema.

Especialistas esparsos: só 15B parâmetros por token

Escrever um token não exige rodar os 309 bilhões de parâmetros, porque os dois modelos usam mistura de especialistas esparsa. O MiMo tem 256 especialistas roteados e escolhe 8 por token, ativando cerca de 15 bilhões de parâmetros. O GLM ativa 18 bilhões dos seus 320.

A analogia da biblioteca ajuda aqui: a coleção inteira continua no prédio e paga aluguel, porque o próximo token pode chamar qualquer prateleira. O bibliotecário, porém, visita apenas 8 das 256 estantes a cada consulta. Ninguém sabe o que cada especialista sabe; as fontes não dizem.

Cuidado com um mal-entendido comum: o modelo não é menor do que anuncia. Todos os 309 bilhões de parâmetros estão armazenados e ocupam memória. O que é pequeno é o trabalho por token, não o modelo.

Velocidade medida: 26 a 44 tokens por segundo

A decodificação costuma esbarrar na velocidade da memória antes da velocidade da matemática. Uma estimativa simples ilustra isso: a 16 bits, os 15 bilhões de parâmetros ativos exigiriam ler uns 30 GB por token, um teto de 8–9 tokens/s com 256 GB/s de banda. Com 2 a 2,7 bits, a leitura cai para 4–5 GB por token e o teto sobe para 50–60 tokens/s.

As medições do repositório ficam abaixo desse teto. O MiMo sem especulação escreve 28,9 tokens/s; com decodificação especulativa, sobe para 32,1 em prosa, 34,8 em chat e 44,3 em código, mediana de seis execuções de 128 tokens a temperatura zero. O especulador é um modelo rascunhador de 4 bits com 702 MB que chuta vários tokens à frente, e o modelo grande verifica tudo numa passada.

O GLM, com seu mecanismo próprio de predição multi-token (MTP), escreve 26–30 tokens/s no pacote de 99,7 GB e 32–39 tokens/s num pacote mais leve de 82 GB. A leitura do prompt, o prefill, corre a 550–610 tokens/s, e as primeiras requisições caem para 200–240 até o motor ajustar o código da GPU. Para comparação, o llama.cpp no mesmo chip registrou 16,74 tokens/s num quant de 1,56 bits, caindo a 7,19 com contexto de 64 mil, em formato diferente e sem comparação direta.

Um detalhe de honestidade metodológica: a tabela foi medida a temperatura zero, ou seja, com decodificação gulosa, que a ficha do MiMo desaconselha. Se você for testar, prefira as configurações amostradas do card às linhas gulosas do readme.

Qualidade: 89–92% de concordância e nenhum benchmark de tarefa

A pergunta que fica depois de um aperto desses é simples: o que sobrou do modelo original? A única métrica publicada é a concordância de top-1 com os pesos oficiais em FP8, ou seja, com que frequência o modelo comprimido escolhe o mesmo próximo token que o modelo completo. O MiMo reporta 91,99%; o GLM, 89,31% numa amostra de 30 linhas e 88,74% em quatro linhas longas.

Traduzindo: os pacotes comprimidos escolhem um token diferente em cerca de 8 a 11% dos casos. Essa métrica mede discordância, não erro. Um token diferente pode ser um sinônimo ou um fato errado, e o número não separa os dois.

O que falta é mais revelador do que o que existe. A ficha do GLM admite que não rodou pontuações de tarefa para esse pacote exato, que o modo de raciocínio não foi testado e que não houve comparação de qualidade com GGUFs do mesmo tamanho. Os números de tarefa no repositório pertencem a um pacote anterior e menor, o Nemo, em outro hardware.

Há também um furo operacional: o pipeline de quantização que gerou os pacotes não é público, e o script de conversão do repositório vem do ExLlamaV3 upstream, sem garantia de que reproduza os mesmos resultados. Só hardware GFX1151 com ROCm foi testado.

Vale a pena comprar? Mini PC de 128 GB contra DGX Spark

A decisão depende de três números de preço e um de aritmética. Um agregador listava em outubro de 2026 mini PCs de 128 GB com a Ryzen AI Max+ 395 entre US$ 3.324 e US$ 4.349. Preços mudam, então confira no dia da compra.

O concorrente da NVIDIA não entra na conta por falta de memória. O DGX Spark custa US$ 4.999 com 64 GB, e um pacote de 100 GB simplesmente não cabe em 64 GB. A versão de 128 GB aparece em páginas secundárias por US$ 6.950, e como os pacotes só foram testados em GFX1151 com ROCm, não há demonstração deles rodando num Spark.

Máquina	Memória	Preço listado	Roda os pacotes de ~100 GB?
Mini PC Strix Halo 128 GB	128 GB LPDDR5X	US$ 3.324–4.349	Sim, é o caso testado
NVIDIA DGX Spark 64 GB	64 GB	US$ 4.999	Não, memória insuficiente
NVIDIA DGX Spark 128 GB	128 GB	US$ 6.950 (secundária)	Não demonstrado

Minha leitura, como opinião e não como medida: se você já tem uma máquina Strix Halo de 128 GB, experimente com seus próprios prompts e configurações amostradas. Se precisaria comprar uma caixa só para isso, espere os benchmarks de tarefa. E se o objetivo é reproduzir a quantização, o pipeline por trás dos pacotes continua fechado.

Perguntas frequentes

• Que hardware é necessário para rodar modelo de 300B localmente? Os pacotes documentados exigem um mini PC com a AMD Ryzen AI Max+ 395 (Strix Halo) e 128 GB de memória unificada, rodando Linux com ROCm. Só o hardware GFX1151 foi testado; nada foi demonstrado em outras GPUs.

• Quantos tokens por segundo esse setup alcança? Os desenvolvedores mediram entre 26 e 44 tokens por segundo na geração de texto, dependendo do modelo e da tarefa, com decodificação especulativa ativa. A leitura de prompt (prefill) roda a 550–610 tokens/s.

• A qualidade do modelo sobrevive à quantização de 2 bits? A única evidência é a concordância de top-1 de 89–92% com os pesos FP8 oficiais, o que significa discordância de 8–11% no próximo token. Não há benchmarks de tarefa para esses pacotes exatos, então ninguém sabe se isso vira um erro pequeno ou grande.

• O pipeline de quantização é público? Não. O motor e os pesos são públicos, mas o pipeline que gerou os pacotes não foi publicado, e o conversor upstream do ExLlamaV3 não foi validado como capaz de reproduzi-los.

Source video