Dave prueba llama3.1 y llama3.2 usando Ollama en una Raspberry Pi, un Herk Orion Mini PC, un 3970X, un M2 Mac Pro y un 7995WX con la GPU NVidia 6000 Ada. ¡Mira los resultados en vivo! ¡Consulta mi libro sobre el espectro autista!
https://amzn.to/4elzfQvEstoy haciendo algo que nunca se ha hecho antes: vamos a ejecutar un modelo de lenguaje grande al estilo ChatGPT localmente en una amplia gama de hardware, desde una Raspberry Pi 4 de $50 hasta una estación de trabajo Dell AI de $50,000 con tarjetas Nvidia 6000 Ada duales.
Si viste mi último video, sabes que recibí críticas por usar hardware de primera categoría y ejecutar todo en WSL en Windows. Esta vez, estoy haciendo las cosas de manera diferente. Comenzamos con algo pequeño y asequible—sin trucos de Linux—y probando la inferencia local en todo, desde una Pi hasta un mini PC de alto rendimiento, un equipo de juegos, un M2 Mac Pro y, por supuesto, esa bestia de estación de trabajo Dell.
A lo largo del camino, te mostraré cómo instalar Ollama en Windows, y compararemos qué tan bien cada máquina puede manejar modelos como Llama 3.1 e incluso el monstruoso modelo de 405 mil millones de parámetros. ¿Qué sistema brillará? ¿Cuál fallará? ¿Puede una Raspberry Pi manejar un modelo de lenguaje grande? ¿Y qué sucede cuando llevamos la estación de trabajo de $50,000 al límite?
Si alguna vez te has preguntado qué se necesita para ejecutar un modelo de lenguaje grande localmente, o simplemente quieres ver cómo se compara el hardware diferente, ¡este episodio es para ti! Asegúrate de quedarte hasta el final para algunos resultados sorprendentes.
💻 Hardware probado en este episodio:
Raspberry Pi 4 (8GB RAM)
Orion Herk Mini PC (Ryzen 9 7940HS)
PC de Juegos de Escritorio (Threadripper 3970X & Nvidia 4080)
Apple M2 Mac Pro
Estación de Trabajo Dell Threadripper (96 núcleos & Nvidia 6000 Ada)
Consulta el Ático de Dave para preguntas y respuestas detrás de cámaras sobre episodios como este.
HTTP://youtube.com/@UCtb6a_CnmGbSns9G8W2Ny0w
¡Sígueme en Facebook para actualizaciones diarias!
HTTP://fb.com/davepl
Twitter: @davepl1968davepl1968