Hoje, quero compartilhar um novo episódio com Aman Khan.
A melhor maneira de aprender sobre avaliações de IA é assistir 2 PMs construí-las ao vivo do zero. No nosso novo episódio, Aman e eu passamos pelo processo de criação de avaliações para um agente de suporte ao cliente de IA — desde a rotulagem de um conjunto de dados ouro até o alinhamento dos juízes de LLM. Este é o curso completo de avaliações de IA para iniciantes que você estava esperando.
Aman e eu conversamos sobre:
(00:00) O que são avaliações de IA e como se tornar bom nelas
(02:52) Os 4 tipos de avaliações de IA que todos deveriam conhecer
(06:08) Demonstração ao vivo: Construindo avaliações para um agente de suporte ao cliente
(10:29) Usando o console da Anthropic para gerar ótimos prompts
(15:13) Criando os critérios de avaliação
(17:40) Adicionando rótulos humanos ao conjunto de dados ouro
(31:05) Escalando avaliações com prompts de juízes de LLM
(38:21) Como alinhar juízes de LLM com o julgamento humano
Onde encontrar Aman:
📌 Inscreva-se neste canal – mais entrevistas em breve!