Heute möchte ich eine neue Episode mit Hamel Husain teilen.
Hamel hat über 2.000 PMs und Ingenieure von Unternehmen wie OpenAI, Anthropic und Google darin geschult, wie man AI-Bewertungen durchführt. In meiner neuen Episode teilt er einen kostenlosen Masterclass darüber, wie man Bewertungen für einen echten KI-Agenten in nur 50 Minuten mit einer einfachen Tabelle erstellt. Ich habe viel von Hamel gelernt und ich denke, du wirst es auch.
Hamel und ich haben über Folgendes gesprochen:
(00:00) Was der wertvollste Teil von Bewertungen ist
(01:25) Live-Demonstration: Analyse von 100 echten Produktionsspuren
(09:50) Erstellung der Bewertungskriterien mit einer einfachen Tabelle
(24:44) Warum binäre Bestehen/Nichtbestehen-Bewertungen 1-5 Punkte immer übertreffen
(28:52) Die Falle der Übereinstimmungsmetrik, die die meisten PMs täuscht
(30:08) Wahre positive und negative Raten erklärt
(36:00) Wie man kontinuierliche Bewertungen in der Produktion einrichtet
Wo du Hamel findest:
📌 Abonniere diesen Kanal – weitere Interviews kommen bald!