Este vídeo explica a ideia básica por trás da regularização em aprendizado de máquina e aprendizado profundo. A ideia é restringir modelos complexos de aprendizado de máquina para que tenham um desempenho melhor em conjuntos de dados de teste/não vistos, ou seja, melhorar a generalização. Em outras palavras, o objetivo da regularização é evitar o overfitting. Para isso, este vídeo discute como modificar funções de custo ou perda para problemas de classificação e regressão com o propósito de regularização. O parâmetro de regularização é uma constante no termo de "penalidade" adicionado à função de custo, que deve ser ajustado para encontrar melhores compensações entre viés e variância. Este vídeo discute tanto a regressão Ridge (sklearn.linear_model.Ridge) quanto o LASSO no scikit-learn (sklearn.linear_model.Lasso). Este tutorial também aborda o conceito de regularização para máquinas de vetor de suporte: o parâmetro de regularização (frequentemente chamado de parâmetro C na biblioteca scikit-learn do Python) informa à otimização SVM quanto evitar a classificação incorreta de pontos de dados de treinamento. Por fim, discutimos a regularização para redes neurais ou aprendizado profundo, que é conhecida como regularizadores de peso de camada no Keras. Particularmente, usamos kernel_regularizer para aplicar uma penalidade no kernel da camada. A decaimento de peso funciona adicionando um termo de penalidade à função de custo de uma rede neural, o que tem o efeito de reduzir os pesos.
#Regularização #Overfitting #Penalidade