Ce modèle d'IA de 125 milliards de paramètres fonctionne 5 fois plus vite sur mon PC que dans le cloud (en utilisant Strata)

Nous avons exécuté un modèle d'IA de 125 milliards de paramètres sur un seul RTX 5090 en utilisant Strata, un moteur open-source gratuit, et il a atteint plus de 250 tokens par seconde, trois à cinq fois plus vite que Qwen 3.8 Flash dans le cloud via OpenRouter. Nous expliquons comment Strata répartit le modèle entre votre GPU, CPU, RAM et SSD, y compris son cache expert, le truc de la « sonnette » qui permet au CPU et au GPU de travailler sur la même couche en même temps, et le décodage spéculatif. Ensuite, nous avons soumis les deux modèles à des tests de codage, de logique, créatifs et de réponses longues côte à côte pour voir où l'écart de vitesse se manifeste vraiment.

🔗 Liens pertinents

Strata : https://github.com/Niko1221/Strata

❤️ En savoir plus sur nous

Stack d'observabilité radicalement meilleur : https://betterstack.com/

Tutoriels écrits : https://betterstack.com/community/

Projets d'exemple : https://github.com/BetterStackHQ

📱 Réseaux sociaux

Twitter : https://twitter.com/betterstackhq

Instagram : https://www.instagram.com/betterstackhq/

TikTok : https://www.tiktok.com/@betterstack

LinkedIn : https://www.linkedin.com/company/betterstack

📌 Chapitres :

0:00 IA locale vs le cloud

0:38 Qu'est-ce que Strata ?

1:31 Le modèle derrière cela

1:58 Comment Strata utilise votre GPU, RAM et SSD

2:34 Le truc de la « sonnette »

3:04 Décodage spéculatif

3:29 Pourquoi c'est si rapide sur un RTX 5090

4:23 Configuration de Strata

5:17 L'application de test Desk vs Cloud

5:30 Test de codage

5:48 Test de puzzle logique

6:12 Test créatif

6:22 Test de réponse longue

7:10 Réponse longue avec réflexion désactivée

7:23 Coût et mises en garde

7:56 Dernières réflexions