Wir haben ein KI-Modell mit 125 Milliarden Parametern auf einer einzelnen RTX 5090 mit Strata, einer kostenlosen Open-Source-Engine, ausgeführt, und es erreichte über 250 Tokens pro Sekunde, drei bis fünf Mal schneller als Qwen 3.8 Flash in der Cloud über OpenRouter. Wir erklären, wie Strata das Modell auf deiner GPU, CPU, RAM und SSD aufteilt, einschließlich des Expert-Caches, dem „Türklingel“-Trick, der es der CPU und GPU ermöglicht, gleichzeitig an derselben Schicht zu arbeiten, und spekulativem Decoding. Dann haben wir beide Modelle durch parallele Tests in den Bereichen Codierung, Logik, Kreativität und Langantworten geschickt, um zu sehen, wo die Geschwindigkeitslücke wirklich sichtbar wird.
🔗 Relevante Links
❤️ Mehr über uns
📱 Soziale Medien
📌 Kapitel:
0:00 Lokale KI vs die Cloud
0:38 Was ist Strata?
1:31 Das Modell dahinter
1:58 Wie Strata deine GPU, RAM und SSD nutzt
2:34 Der „Türklingel“-Trick
3:04 Spekulatives Decoding
3:29 Warum es so schnell auf einer RTX 5090 ist
4:23 Strata einrichten
5:17 Der Desk vs Cloud Test-App
5:30 Codierungstest
5:48 Logikrätsel-Test
6:12 Kreativtest
6:22 Langantwort-Test
7:10 Langantwort mit ausgeschaltetem Denken
7:23 Kosten und Vorbehalte
7:56 Abschließende Gedanken