Dave teste llama3.1 et llama3.2 en utilisant Ollama sur un Raspberry Pi, un Herk Orion Mini PC, un 3970X, un M2 Mac Pro et un 7995WX avec le GPU NVidia 6000 Ada. Découvrez les résultats en direct ! Consultez mon livre sur le spectre de l'autisme !
https://amzn.to/4elzfQvJe fais quelque chose qui n'a jamais été fait auparavant : nous allons exécuter un modèle de langage de type ChatGPT localement sur une large gamme de matériel, d'un Raspberry Pi 4 à 50 $ jusqu'à une station de travail Dell AI à 50 000 $ avec des cartes Nvidia 6000 Ada en double.
Si vous avez vu ma dernière vidéo, vous savez que j'ai reçu des critiques pour avoir utilisé du matériel haut de gamme et exécuté tout dans WSL sur Windows. Cette fois, je fais les choses différemment. Nous commençons petit et à petit budget—pas de manigances Linux—et testons l'inférence locale sur tout, d'un Pi à un mini PC haute performance, un PC de jeu, un M2 Mac Pro et, bien sûr, cette bête de station de travail Dell.
En cours de route, je vous montrerai comment installer Ollama sur Windows, et nous comparerons la capacité de chaque machine à gérer des modèles comme Llama 3.1 et même le monstrueux modèle de 405 milliards de paramètres. Quel système brillera ? Lequel échouera ? Un Raspberry Pi peut-il même gérer un modèle de langage de grande taille ? Et que se passe-t-il lorsque nous poussons la station de travail à 50 000 $ à sa limite ?
Si vous vous êtes déjà demandé ce qu'il faut pour exécuter un modèle de langage de grande taille localement, ou si vous voulez simplement voir comment différents matériels se comparent, cet épisode est fait pour vous ! Assurez-vous de rester jusqu'à la fin pour des résultats surprenants.
💻 Matériel testé dans cet épisode :
Raspberry Pi 4 (8 Go de RAM)
Orion Herk Mini PC (Ryzen 9 7940HS)
PC de jeu de bureau (Threadripper 3970X & Nvidia 4080)
Apple M2 Mac Pro
Station de travail Dell Threadripper (96 cœurs & Nvidia 6000 Ada)
Découvrez le grenier de Dave pour des questions-réponses en coulisses sur des épisodes comme celui-ci !
HTTP://youtube.com/@UCtb6a_CnmGbSns9G8W2Ny0w
Suivez-moi sur Facebook pour des mises à jour quotidiennes !
HTTP://fb.com/davepl
Twitter : @davepl1968davepl1968