Hoy, quiero compartir un nuevo episodio con Hamel Husain.
Hamel ha capacitado a más de 2,000 PMs e ingenieros de empresas como OpenAI, Anthropic y Google sobre cómo realizar evaluaciones de IA. En mi nuevo episodio, comparte una clase magistral gratuita sobre cómo construir evaluaciones para un agente de IA real en solo 50 minutos utilizando una hoja de cálculo simple. Aprendí mucho de Hamel y creo que tú también lo harás.
Hamel y yo hablamos sobre:
(00:00) Cuál es la parte más valiosa de las evaluaciones
(01:25) Demostración en vivo: Analizando 100 trazas de producción reales
(09:50) Creando los criterios de evaluación utilizando una hoja de cálculo simple
(24:44) Por qué las calificaciones binarias de aprobado/reprobado superan las puntuaciones de 1 a 5 cada vez
(28:52) La trampa de la métrica de acuerdo que engaña a la mayoría de los PMs
(30:08) Tasas de verdaderos positivos y negativos explicadas
(36:00) Cómo configurar evaluaciones continuas en producción
Dónde encontrar a Hamel:
📌 Suscríbete a este canal – ¡más entrevistas próximamente!