Hoje, quero compartilhar um novo episódio com Hamel Husain.
Hamel treinou mais de 2.000 PMs e engenheiros de empresas como OpenAI, Anthropic e Google sobre como realizar avaliações de IA. No meu novo episódio, ele compartilha uma masterclass gratuita sobre como construir avaliações para um agente de IA real em apenas 50 minutos usando uma planilha simples. Aprendi muito com Hamel e acho que você também vai aprender.
Hamel e eu conversamos sobre:
(00:00) Qual é a parte mais valiosa das avaliações
(01:25) Demonstração ao vivo: Analisando 100 rastros de produção reais
(09:50) Criando os critérios de avaliação usando uma planilha simples
(24:44) Por que classificações binárias de aprovação/reprovação superam notas de 1 a 5 sempre
(28:52) A armadilha da métrica de concordância que engana a maioria dos PMs
(30:08) Taxas de verdadeiros positivos e negativos explicadas
(36:00) Como configurar avaliações contínuas em produção
Onde encontrar Hamel:
📌 Inscreva-se neste canal – mais entrevistas em breve!