Heute möchte ich eine neue Episode mit Aman Khan teilen.
Der beste Weg, um über KI-Bewertungen zu lernen, ist, 2 PMs dabei zuzusehen, wie sie sie live von Grund auf erstellen. In unserer neuen Episode gehen Aman und ich durch die Erstellung von Bewertungen für einen KI-Kundenservice-Agenten – von der Kennzeichnung eines goldenen Datensatzes bis zur Abstimmung der LLM-Richter. Dies ist der komplette Anfängerkurs zu KI-Bewertungen, auf den du gewartet hast.
Aman und ich haben über Folgendes gesprochen:
(00:00) Was sind KI-Bewertungen und wie wird man darin gut
(02:52) Die 4 Arten von KI-Bewertungen, die jeder kennen sollte
(06:08) Live-Demo: Bewertungen für einen Kundenservice-Agenten erstellen
(10:29) Verwendung von Anthropic's Konsole zur Generierung großartiger Eingabeaufforderungen
(15:13) Erstellung der Bewertungskriterien
(17:40) Hinzufügen menschlicher Labels zum goldenen Datensatz
(31:05) Skalierung von Bewertungen mit LLM-Richter-Eingabeaufforderungen
(38:21) Wie man LLM-Richter mit menschlichem Urteil in Einklang bringt
Wo du Aman findest:
📌 Abonniere diesen Kanal – weitere Interviews kommen bald!