Ce cours introduit l'apprentissage par renforcement (RL), la branche de l'apprentissage automatique où un agent apprend à prendre des décisions séquentielles en interagissant avec un environnement. Nous commençons par la boucle fondamentale agent-environnement : états, actions, récompenses et observations, et nous la formalisons en tant que processus de décision de Markov, en introduisant le retour, le facteur d'actualisation, ainsi que les fonctions de valeur et de valeur d'action (Q) qui quantifient la qualité des états et des actions. La vidéo explique la tension fondamentale entre exploration et exploitation, et comment les algorithmes apprennent des politiques optimales par l'expérience. Nous partons de l'apprentissage Q tabulaire et de la mise à jour de Bellman vers les réseaux de neurones Q profonds (DQN), en abordant des idées d'ingénierie clés telles que la répétition d'expérience et les réseaux cibles qui stabilisent l'apprentissage, ainsi que l'exploration epsilon-greedy. Nous contrastons ensuite les méthodes basées sur la valeur avec les approches par gradient de politique et acteur-critique pour le contrôle continu et stochastique. Tout au long, nous ancrons ces concepts dans des démonstrations marquantes : manipulation robotique avec Dactyl d'OpenAI, maîtrise des jeux Atari avec Agent57, jeu surhumain au Go avec AlphaGo, et prédiction de la structure des protéines avec AlphaFold, tout en soulignant l'exploration sécurisée et la conception des récompenses. Enfin, nous relions le RL à la logistique de santé mondiale, y compris l'optimisation de la chaîne d'approvisionnement, l'allocation des ressources et la prise de décision en situation d'incertitude dans des contextes à ressources limitées.
#IA en santé, #apprentissage automatique en médecine, #apprentissage profond en santé, #apprentissage par renforcement, #apprentissage par renforcement profond, #apprentissage Q, #DQN, #gradients de politique, #AlphaGo, #AlphaFold, #IA médicale, #technologie de santé, #healthtech, #cours IA médecine, #cours IA, #éducation IA santé, #IA pour la santé mondiale, #IA pour les médecins, #IA et apprentissage automatique expliqués, #avenir médical de l'IA