Dave testet llama3.1 und llama3.2 mit Ollama auf einem Raspberry Pi, einem Herk Orion Mini-PC, einem 3970X, einem M2 Mac Pro und einem 7995WX mit der NVidia 6000 Ada GPU. Sieh dir die Ergebnisse live an! Schau dir mein Buch über das Autismus-Spektrum an!
https://amzn.to/4elzfQvIch mache etwas, das es so noch nie gegeben hat: Wir werden ein ChatGPT-ähnliches großes Sprachmodell lokal auf einer Vielzahl von Hardware ausführen, von einem 50 Dollar Raspberry Pi 4 bis hin zu einer 50.000 Dollar Dell AI-Workstation mit zwei Nvidia 6000 Ada-Karten.
Wenn du mein letztes Video gesehen hast, weißt du, dass ich etwas Kritik dafür bekommen habe, dass ich Hardware der Spitzenklasse verwendet und alles in WSL auf Windows ausgeführt habe. Diesmal mache ich es anders. Wir fangen klein und budgetfreundlich an – keine Linux-Späße – und testen lokale Inferenz auf allem, von einem Pi bis zu einem leistungsstarken Mini-PC, einem Gaming-Rig, einem M2 Mac Pro und natürlich diesem Biest von einer Dell-Workstation.
Unterwegs zeige ich dir, wie du Ollama auf Windows installierst, und wir vergleichen, wie gut jede Maschine Modelle wie Llama 3.1 und sogar das monströse Modell mit 405 Milliarden Parametern bewältigen kann. Welches System wird glänzen? Welches wird schwächeln? Kann ein Raspberry Pi überhaupt ein großes Sprachmodell verarbeiten? Und was passiert, wenn wir die 50.000 Dollar Workstation an ihre Grenzen bringen?
Wenn du dich jemals gefragt hast, was nötig ist, um ein großes Sprachmodell lokal auszuführen, oder einfach sehen möchtest, wie sich verschiedene Hardware schlägt, ist diese Episode genau das Richtige für dich! Bleib bis zum Ende dran für einige überraschende Ergebnisse.
💻 Getestete Hardware in dieser Episode:
Raspberry Pi 4 (8GB RAM)
Orion Herk Mini-PC (Ryzen 9 7940HS)
Desktop Gaming-PC (Threadripper 3970X & Nvidia 4080)
Apple M2 Mac Pro
Dell Threadripper Workstation (96 Kerne & Nvidia 6000 Ada)
Schau dir Daves Dachboden für Fragen und Antworten hinter den Kulissen zu Episoden wie dieser an!
HTTP://youtube.com/@UCtb6a_CnmGbSns9G8W2Ny0w
Folge mir auf Facebook für tägliche Updates!
HTTP://fb.com/davepl
Twitter: @davepl1968davepl1968