Nous couvrons ici six schémas d'optimisation pour les réseaux de neurones profonds : descente de gradient stochastique (SGD), SGD avec momentum, SGD avec momentum de Nesterov, RMSprop, AdaGrad et Adam.
Chapitres
---------------
Introduction 00:00
Rappel bref 00:27
Descente de gradient stochastique (SGD) 03:16
SGD avec momentum 05:01
SGD avec momentum de Nesterov 07:02
AdaGrad 09:46
RMSprop 12:20
Adam 13:23
SGD vs Adam 15:03