Aujourd'hui, je veux partager un nouvel épisode avec Aman Khan.
La meilleure façon d'apprendre sur les évaluations d'IA est de regarder 2 PMs les construire en direct depuis zéro. Dans notre nouvel épisode, Aman et moi parcourons la création d'évaluations pour un agent de support client IA — de l'étiquetage d'un ensemble de données dorées à l'alignement des juges LLM. C'est le cours complet d'évaluation d'IA pour débutants que vous attendiez.
Aman et moi avons parlé de :
(00:00) Qu'est-ce que les évaluations d'IA et comment s'améliorer
(02:52) Les 4 types d'évaluations d'IA que tout le monde devrait connaître
(06:08) Démo en direct : Construction d'évaluations pour un agent de support client
(10:29) Utilisation de la console d'Anthropic pour générer d'excellents prompts
(15:13) Création des critères d'évaluation
(17:40) Ajout d'étiquettes humaines à l'ensemble de données dorées
(31:05) Mise à l'échelle des évaluations avec des prompts de juges LLM
(38:21) Comment aligner les juges LLM avec le jugement humain
Où trouver Aman :
📌 Abonnez-vous à cette chaîne – d'autres interviews arrivent bientôt !