Este modelo de IA de 125B funciona 5 veces más rápido en mi PC que en la nube (usando Strata)

Ejecutamos un modelo de IA de 125 mil millones de parámetros en una sola RTX 5090 usando Strata, un motor gratuito y de código abierto, y alcanzó más de 250 tokens por segundo, de tres a cinco veces más rápido que Qwen 3.8 Flash en la nube a través de OpenRouter. Desglosamos cómo Strata divide el modelo entre tu GPU, CPU, RAM y SSD, incluyendo su caché experta, el truco del “timbre” que permite que la CPU y la GPU trabajen en la misma capa al mismo tiempo, y la decodificación especulativa. Luego pusimos ambos modelos a través de pruebas de codificación, lógica, creatividad y respuestas largas lado a lado para ver dónde realmente se muestra la diferencia de velocidad.

🔗 Enlaces relevantes

Strata: https://github.com/Niko1221/Strata

❤️ Más sobre nosotros

Stack de observabilidad radicalmente mejor: https://betterstack.com/

Tutoriales escritos: https://betterstack.com/community/

Proyectos de ejemplo: https://github.com/BetterStackHQ

📱 Redes sociales

Twitter: https://twitter.com/betterstackhq

Instagram: https://www.instagram.com/betterstackhq/

TikTok: https://www.tiktok.com/@betterstack

LinkedIn: https://www.linkedin.com/company/betterstack

📌 Capítulos:

0:00 IA local vs la nube

0:38 ¿Qué es Strata?

1:31 El modelo detrás de esto

1:58 Cómo Strata utiliza tu GPU, RAM y SSD

2:34 El truco del “timbre”

3:04 Decodificación especulativa

3:29 Por qué es tan rápido en una RTX 5090

4:23 Configurando Strata

5:17 La prueba de Desk vs Cloud

5:30 Prueba de codificación

5:48 Prueba de rompecabezas lógico

6:12 Prueba creativa

6:22 Prueba de respuesta larga

7:10 Respuesta larga con pensamiento apagado

7:23 Costos y advertencias

7:56 Reflexiones finales