Dieses Video erklärt die grundlegende Idee hinter der Regularisierung im maschinellen Lernen und Deep Learning. Die Idee besteht darin, komplexe Modelle des maschinellen Lernens so einzuschränken, dass sie besser auf Test- oder unbekannten Datensätzen abschneiden, d.h. die Generalisierung zu verbessern. Mit anderen Worten, das Ziel der Regularisierung ist es, Überanpassung zu vermeiden. Zu diesem Zweck wird in diesem Video erörtert, wie Kosten- oder Verlustfunktionen sowohl für Klassifikations- als auch für Regressionsprobleme im Hinblick auf die Regularisierung modifiziert werden können. Der Regularisierungsparameter ist eine Konstante im „Straf“-Term, der zur Kostenfunktion hinzugefügt wird und fein abgestimmt werden sollte, um bessere Kompromisse zwischen Verzerrung und Varianz zu finden. Dieses Video behandelt sowohl Ridge-Regression (sklearn.linear_model.Ridge) als auch LASSO in scikit-learn (sklearn.linear_model.Lasso). Dieses Tutorial behandelt auch das Konzept der Regularisierung für Support Vector Machines: Der Regularisierungsparameter (oft als C-Parameter in der Python-Bibliothek scikit-learn bezeichnet) sagt der SVM-Optimierung, wie stark die Fehlklassifizierung von Trainingsdatenpunkten vermieden werden soll. Schließlich besprechen wir die Regularisierung für neuronale Netzwerke oder Deep Learning, die in Keras als Schichtgewicht-Regularisierer bekannt ist. Insbesondere verwenden wir kernel_regularizer, um eine Strafe auf den Kernel der Schicht anzuwenden. Weight Decay funktioniert, indem ein Strafterm zur Kostenfunktion eines neuronalen Netzwerks hinzugefügt wird, was die Wirkung hat, die Gewichte zu verkleinern.
#Regularisierung #Überanpassung #Strafe