Créez un compte pour utiliser l'IA

Créez un compte gratuit pour débloquer toutes les fonctionnalités :

Posez des questions sur les vidéos avec l'IA
Utilisez la recherche intelligente (IA)
Sauvegardez vos vidéos en favoris
Marquez vos catégories préférées
Organisez vos sous-catégories favorites
Accédez à votre page de favoris personnalisée
Retrouvez l'historique de vos conversations
Personnalisez votre page d'accueil avec vos favoris

Créer un compte

Vous avez déjà un compte ? Se connecter

L'IA locale expliquée | Matériel, configuration et modèles

Syntax

Dans cette vidéo, CJ vous guide à travers le vaste monde de l'IA locale. Il montre comment il a configuré son nouveau mini PC avec 128 Go de mémoire et donne ses impressions générales sur l'exécution de modèles locaux pour des tâches basiques et la programmation.

00:00 - introduction

01:03 - termes / concepts clés

01:40 - nous avons besoin de GPU

02:16 - les LLM nécessitent beaucoup de VRAM

03:20 - quantification des modèles

04:13 - où trouver des modèles

05:13 - prix des GPU

06:33 - PC à mémoire unifiée

10:58 - déballage du mini PC

12:13 - installation / configuration de Fedora

13:28 - configuration de la mémoire GTT

14:04 - comment exécuter des modèles locaux

16:33 - comment télécharger et trouver des modèles

18:54 - impressions sur les invites basiques

20:31 - impressions générales sur la programmation

23:21 - conclusions

GMKtec EVO-X2 AI Mini PC | https://amzn.to/4bbgdMg

Qu'est-ce que l'inférence LLM | https://huggingface.co/blog/Kseniase/

Modèles de langage large expliqués brièvement | https://www.youtube.com/watch?v=LPZh9BOjkQs&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=5

Qu'est-ce que la mémoire GPU et pourquoi est-ce important | https://www.bentoml.com/blog/what-is-gpu-memory-and-why-it-matters-for-llm-inference

De combien de VRAM ai-je besoin pour l'inférence LLM ? | https://modal.com/blog/how-much-vram-need-inference

Un guide visuel sur la quantification | https://www.maartengrootendorst.com/blog/quantization/

Modèles Unsloth | https://unsloth.ai/docs/models/tutorials

NVIDIA DGX Spark | https://www.nvidia.com/en-us/products/workstations/dgx-spark/

Wiki Strix Halo | https://strixhalo.wiki/Hardware/PCs

Augmenter l'allocation de VRAM sur les APU AI AMD sous Linux | https://www.jeffgeerling.com/blog/2025/increasing-vram-allocation-on-amd-ai-apus-under-linux/

Ollama | https://ollama.com/

LM Studio | https://lmstudio.ai/

vLLM | https://docs.vllm.ai/en/latest/

llama.cpp | https://github.com/ggml-org/llama.cpp

Boîtes à outils AMD Strix Halo | https://github.com/kyuz0/amd-strix-halo-toolboxes

Hugging Face CLI | https://huggingface.co/docs/huggingface_hub/guides/cli

Modèles Hugging Face llama.cpp | https://huggingface.co/models?apps=llama.cpp&sort=trending

Spec Kit | https://github.github.com/spec-kit/

OpenSpec | https://openspec.dev/

------------------------------------------------------------------------------

Contactez-nous sur les réseaux sociaux !

Syntax: https://x.com/syntaxfm

Scott: https://x.com/stolinski

Wes: https://x.com/wesbos

CJ: https://x.com/CodingGarden

Randy: https://www.youtube.com/@randyrektor

http://www.syntax.fm

Présenté par Sentry.io

#programmation #llm #llama #syntax #syntaxfm

L'IA locale expliquée | Matériel, configuration et modèles | Knoovi