Este Modelo de IA de 125B Roda 5x Mais Rápido no Meu PC do Que na Nuvem (Usando Strata)

Executamos um modelo de IA de 125 bilhões de parâmetros em uma única RTX 5090 usando Strata, um motor gratuito e de código aberto, e ele alcançou mais de 250 tokens por segundo, de três a cinco vezes mais rápido que o Qwen 3.8 Flash na nuvem através do OpenRouter. Explicamos como o Strata divide o modelo entre sua GPU, CPU, RAM e SSD, incluindo seu cache especializado, o truque do “campainha” que permite que a CPU e a GPU trabalhem na mesma camada ao mesmo tempo, e a decodificação especulativa. Em seguida, colocamos ambos os modelos em testes lado a lado de codificação, lógica, criatividade e respostas longas para ver onde a diferença de velocidade realmente aparece.

🔗 Links Relevantes

Strata: https://github.com/Niko1221/Strata

❤️ Mais sobre nós

Stack de observabilidade radicalmente melhor: https://betterstack.com/

Tutoriais escritos: https://betterstack.com/community/

Projetos de exemplo: https://github.com/BetterStackHQ

📱 Redes Sociais

Twitter: https://twitter.com/betterstackhq

Instagram: https://www.instagram.com/betterstackhq/

TikTok: https://www.tiktok.com/@betterstack

LinkedIn: https://www.linkedin.com/company/betterstack

📌 Capítulos:

0:00 IA Local vs a nuvem

0:38 O que é Strata?

1:31 O modelo por trás disso

1:58 Como o Strata usa sua GPU, RAM e SSD

2:34 O truque da “campainha”

3:04 Decodificação especulativa

3:29 Por que é tão rápido em uma RTX 5090

4:23 Configurando o Strata

5:17 O aplicativo de teste Desk vs Nuvem

5:30 Teste de codificação

5:48 Teste de quebra-cabeça lógico

6:12 Teste criativo

6:22 Teste de resposta longa

7:10 Resposta longa com pensamento desligado

7:23 Custo e ressalvas

7:56 Considerações finais