Erstellen Sie ein Konto, um KI zu nutzen

Erstellen Sie ein kostenloses Konto, um alle Funktionen freizuschalten:

Stellen Sie Fragen zu Videos mit KI
Nutzen Sie die intelligente Suche (KI)
Speichern Sie Ihre Lieblingsvideos
Markieren Sie Ihre Lieblingskategorien
Organisieren Sie Ihre Lieblingsunterkategorien
Greifen Sie auf Ihre personalisierte Favoritenseite zu
Greifen Sie auf Ihren Gesprächsverlauf zu
Personalisieren Sie Ihre Startseite mit Ihren Favoriten

Konto erstellen

Haben Sie bereits ein Konto? Anmelden

Lokale KI erklärt | Hardware, Einrichtung und Modelle

Syntax

In diesem Video führt CJ dich durch die weite Welt der lokalen KI. Er zeigt, wie er seinen neuen Mini-PC mit 128 GB RAM eingerichtet hat und gibt seine allgemeinen Eindrücke zur Ausführung lokaler Modelle für grundlegende Aufgaben und Programmierung.

00:00 - Einführung

01:03 - Schlüsselbegriffe / Konzepte

01:40 - Wir brauchen GPUs

02:16 - LLMs benötigen viel VRAM

03:20 - Modellquantisierung

04:13 - Wo man Modelle findet

05:13 - GPU-Preise

06:33 - Unified Memory PCs

10:58 - Unboxing des Mini-PCs

12:13 - Fedora-Installation / Einrichtung

13:28 - GTT-Speicherkonfiguration

14:04 - Wie man lokale Modelle ausführt

16:33 - Wie man Modelle herunterlädt und findet

18:54 - Eindrücke von grundlegenden Eingaben

20:31 - Programmierung allgemeine Eindrücke

23:21 - Fazit

GMKtec EVO-X2 AI Mini PC | https://amzn.to/4bbgdMg

Was ist LLM-Inferenz | https://huggingface.co/blog/Kseniase/

Große Sprachmodelle kurz erklärt | https://www.youtube.com/watch?v=LPZh9BOjkQs&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=5

Was ist GPU-Speicher und warum ist er wichtig | https://www.bentoml.com/blog/what-is-gpu-memory-and-why-it-matters-for-llm-inference

Wie viel VRAM benötige ich für LLM-Inferenz? | https://modal.com/blog/how-much-vram-need-inference

Ein visueller Leitfaden zur Quantisierung | https://www.maartengrootendorst.com/blog/quantization/

Unsloth-Modelle | https://unsloth.ai/docs/models/tutorials

NVIDIA DGX Spark | https://www.nvidia.com/en-us/products/workstations/dgx-spark/

Strix Halo Wiki | https://strixhalo.wiki/Hardware/PCs

Erhöhung der VRAM-Zuweisung auf AMD AI APUs unter Linux | https://www.jeffgeerling.com/blog/2025/increasing-vram-allocation-on-amd-ai-apus-under-linux/

Ollama | https://ollama.com/

LM Studio | https://lmstudio.ai/

vLLM | https://docs.vllm.ai/en/latest/

llama.cpp | https://github.com/ggml-org/llama.cpp

AMD Strix Halo Toolboxes | https://github.com/kyuz0/amd-strix-halo-toolboxes

Hugging Face CLI | https://huggingface.co/docs/huggingface_hub/guides/cli

Hugging Face llama.cpp Modelle | https://huggingface.co/models?apps=llama.cpp&sort=trending

Spec Kit | https://github.github.com/spec-kit/

OpenSpec | https://openspec.dev/

------------------------------------------------------------------------------

Folge uns in den sozialen Medien!

Syntax: https://x.com/syntaxfm

Scott: https://x.com/stolinski

Wes: https://x.com/wesbos

CJ: https://x.com/CodingGarden

Randy: https://www.youtube.com/@randyrektor

http://www.syntax.fm

Präsentiert von Sentry.io

#programmierung #llm #llama #syntax #syntaxfm

Lokale KI erklärt | Hardware, Einrichtung und Modelle | Knoovi