Esta clase ofrece una visión general de las capas de normalización en redes profundas (como LayerNorm y BatchNorm). También se discuten métodos para regularizar redes, incluyendo la regularización L2 y Dropout. Finalmente, abordamos algunos desafíos con la interacción de la optimización, la inicialización, la normalización y la regularización.
Contenidos:
00:00:00 - Introducción
00:01:07 - Inicialización vs. optimización
00:12:22 - Normalización
00:13:51 - Normalización por capas
00:19:12 - Ilustración de LayerNorm
00:23:05 - Normalización por lotes
00:27:29 - Dependencia de minibatch
00:34:03 - Regularización de redes profundas
00:36:34 - Regularización
00:40:27 - Regularización L2 también conocida como decaimiento de peso
00:53:27 - Advertencias de la regularización L2
00:55:38 - Dropout
00:58:55 - Dropout como aproximación estocástica
01:04:36 - Muchas soluciones ... muchas más preguntas
01:06:44 - BatchNorm: Un ejemplo ilustrativo
01:12:36 - BatchNorm: ¿Otros beneficios?
01:15:46 - El mensaje clave definitivo