Cette vidéo explique l'idée de base derrière la régularisation en apprentissage automatique et en apprentissage profond. L'idée est de contraindre des modèles d'apprentissage automatique complexes à mieux performer sur des ensembles de données de test/non vus, c'est-à-dire à améliorer la généralisation. En d'autres termes, l'objectif de la régularisation est d'éviter le surapprentissage. À cette fin, cette vidéo discute de la manière de modifier les fonctions de coût ou de perte pour les problèmes de classification et de régression dans le but de régularisation. Le paramètre de régularisation est une constante dans le terme de « pénalité » ajouté à la fonction de coût, qui doit être ajustée pour trouver de meilleurs compromis entre biais et variance. Cette vidéo aborde à la fois la régression Ridge (sklearn.linear_model.Ridge) et le LASSO dans scikit-learn (sklearn.linear_model.Lasso). Ce tutoriel discute également du concept de régularisation pour les machines à vecteurs de support : le paramètre de régularisation (souvent appelé paramètre C dans la bibliothèque scikit-learn de Python) indique à l'optimisation SVM combien éviter de mal classer les points de données d'entraînement. Enfin, nous discutons de la régularisation pour les réseaux de neurones ou l'apprentissage profond, qui est connue sous le nom de régularisateurs de poids de couche dans Keras. En particulier, nous utilisons kernel_regularizer pour appliquer une pénalité sur le noyau de la couche. La décroissance de poids fonctionne en ajoutant un terme de pénalité à la fonction de coût d'un réseau de neurones, ce qui a pour effet de réduire les poids.
#Régularisation #Surapprentissage #Pénalité