Crie uma conta para usar a IA

Crie uma conta gratuita para desbloquear todos os recursos:

Faça perguntas sobre vídeos com IA
Use a busca inteligente (IA)
Salve seus vídeos favoritos
Marque suas categorias favoritas
Organize suas subcategorias favoritas
Acesse sua página de favoritos personalizada
Acesse o histórico das suas conversas
Personalize sua página inicial com seus favoritos

Já tem uma conta? Entrar

Execute LLMs Locais em Hardware de $50 a $50.000 - Nós Testamos e Comparamos!

Name: Execute LLMs Locais em Hardware de $50 a $50.000 - Nós Testamos e Comparamos!
Uploaded: 2024-09-29T12:39:36+00:00
Duration: 15 min 5 s

Dave's Garage

Dave testa llama3.1 e llama3.2 usando Ollama em um Raspberry Pi, um Herk Orion Mini PC, um 3970X, um M2 Mac Pro e um 7995WX com a GPU NVidia 6000 Ada. Veja os resultados ao vivo! Confira meu livro sobre o espectro autista! https://amzn.to/4elzfQv

Estou fazendo algo que nunca foi feito antes: vamos executar um modelo de linguagem grande estilo ChatGPT localmente em uma ampla gama de hardware, desde um Raspberry Pi 4 de $50 até uma estação de trabalho Dell AI de $50.000 com placas Nvidia 6000 Ada em dual.

Se você viu meu último vídeo, sabe que recebi algumas críticas por usar hardware de ponta e rodar tudo no WSL no Windows. Desta vez, estou fazendo as coisas de forma diferente. Estamos começando pequeno e com orçamento acessível—sem confusões com Linux—e testando a inferência local em tudo, desde um Pi até um mini PC de alto desempenho, uma máquina de jogos, um M2 Mac Pro e, claro, aquela fera de estação de trabalho Dell.

Ao longo do caminho, vou mostrar como instalar o Ollama no Windows, e vamos comparar como cada máquina pode lidar com modelos como Llama 3.1 e até mesmo o monstruoso modelo de 405 bilhões de parâmetros. Qual sistema vai brilhar? Qual vai falhar? Um Raspberry Pi consegue lidar com um modelo de linguagem grande? E o que acontece quando empurramos a estação de trabalho de $50.000 ao seu limite?

Se você já se perguntou o que é necessário para executar um modelo de linguagem grande localmente, ou apenas quer ver como diferentes hardwares se comparam, este episódio é para você! Não se esqueça de ficar até o final para alguns resultados surpreendentes.

💻 Hardware testado neste episódio:

Raspberry Pi 4 (8GB RAM)

Orion Herk Mini PC (Ryzen 9 7940HS)

Desktop Gaming PC (Threadripper 3970X & Nvidia 4080)

Apple M2 Mac Pro

Estação de Trabalho Dell Threadripper (96 núcleos & Nvidia 6000 Ada)

Confira o Sótão do Dave para perguntas e respostas nos bastidores de episódios como este!

HTTP://youtube.com/@UCtb6a_CnmGbSns9G8W2Ny0w

Siga-me no Facebook para atualizações diárias!

HTTP://fb.com/davepl

Twitter: @davepl1968davepl1968