¿Qué es la regularización en el aprendizaje automático?

La regularización es una técnica utilizada en un intento de resolver el problema de sobreajuste [1] en modelos estadísticos. *

En primer lugar, quiero aclarar cómo surge este problema de sobreajuste .

Cuando alguien quiere modelar un problema, digamos que al tratar de predecir el salario de alguien en función de su edad, primero intentará un modelo de regresión lineal con la edad como variable independiente y el salario como dependiente. Este modelo fallará principalmente, ya que es demasiado simple .

Entonces, podría pensar: bueno, también tengo la edad, el sexo y la educación de cada individuo en mi conjunto de datos. Podría agregar estos como variables explicativas.

Su modelo se vuelve más interesante y más complejo . Usted mide su precisión con respecto a una métrica de pérdida [matemática] L (X, Y) [/ matemática] donde [matemática] X [/ matemática] es su matriz de diseño y [matemática] Y [/ matemática] son ​​las observaciones (también objetivos indicados ) vector (aquí los salarios).

Descubres que tu resultado es bastante bueno pero no tan perfecto como deseas.

Entonces agrega más variables: ubicación, profesión de los padres, antecedentes sociales, número de hijos, peso, número de libros, color preferido, mejor comida, destino de las últimas vacaciones, etc.

Su modelo funcionará bien, pero probablemente esté sobreajustado , es decir, probablemente tendrá un poder de predicción y generalización deficiente: se adhiere demasiado a los datos y el modelo probablemente haya aprendido el ruido de fondo mientras está en forma. Por supuesto, esto no es aceptable.

Entonces, ¿cómo se resuelve esto?

Es aquí donde la técnica de regularización es útil.

Usted penaliza su función de pérdida agregando un múltiplo de [math] L_1 [/ math] (LASSO [2]) o una [math] L_2 [/ math] (Ridge [3]) de su vector de pesos [math] w [/ math] (es el vector de los parámetros aprendidos en su regresión lineal). Obtiene la siguiente ecuación:

[matemáticas] L (X, Y) + \ lambda N (w) [/ matemáticas]

([matemática] N [/ matemática] es [matemática] L_1 [/ matemática], [matemática] L_2 [/ matemática] o cualquier otra norma)

Esto lo ayudará a evitar el sobreajuste y, al mismo tiempo, realizará la selección de características para ciertas normas de regularización (el [matemático] L_1 [/ matemático] en LASSO hace el trabajo).

Finalmente podrías preguntar: OK, tengo todo ahora. ¿Cómo puedo sintonizar el término de regularización? [matemáticas] \ lambda [/ matemáticas] ?

Una posible respuesta es utilizar la validación cruzada : divide los datos de entrenamiento, entrena su modelo para un valor fijo de [matemáticas] \ lambda [/ matemáticas] y lo prueba en los subconjuntos restantes y repite este procedimiento mientras varía [matemáticas] \ lambda [/ math]. Luego selecciona la mejor [matemática] \ lambda [/ matemática] que minimiza su función de pérdida.

Espero que esto haya sido útil. Avísame si hay algún error. Intentaré agregar algunos gráficos y eventualmente algún código R o Python para ilustrar este concepto.

Además, puede leer más sobre estos temas (regularización y validación cruzada) aquí:

• Regularización (matemática)
• Validación cruzada (estadísticas)

* En realidad, este es solo uno de los muchos usos. Según Wikipedia, se puede usar para resolver problemas mal planteados. Aquí está el artículo de referencia: Regularización (matemáticas) .

Como siempre, asegúrese de seguirme para obtener más información sobre el aprendizaje automático y sus dificultades: http://quora.com/profile/Yassine …

Notas al pie

[1] Sobreajuste

[2] Lazo (estadísticas)

[3] Regularización de Tikhonov

En caso de que la pregunta sea “en términos simples …”: la regularización desalienta artificialmente las explicaciones complejas o extremas del mundo, incluso si se ajustan mejor a lo que se ha observado. La idea es que es poco probable que tales explicaciones se generalicen bien en el futuro; pueden explicar algunos puntos de datos del pasado, pero esto puede deberse a accidentes de la muestra.

Por ejemplo, supongamos que está entrenando a su robot de guardia para identificar qué mascotas del vecindario deben asustar porque molestan a su cacatúa premiada. Le das al robot los siguientes ejemplos:

• Bo, serpiente, pequeña, AMISTOSA
• Miles, perro, pequeño, AMIGO
• Fifi, gato, pequeño, ENEMIGO
• Muffy, gato, pequeño, AMIGO
• Rufus, perro, grande, AMISTOSO
• Jebediah, caracol, pequeño, AMIGO
• Aloysius, perro, grande, ENEMIGO
• Tom, gato, grande, ENEMIGO

Tu robot podría aprender la regla felizmente

las mascotas con nombres de hasta cuatro letras son enemigos, al igual que los perros grandes con nombres que comienzan con ‘A’, excepto que las serpientes pequeñas no son enemigas

ya que se ajusta perfectamente a estos datos, pero se siente torpe. Intuitivamente, supondríamos que hay una regla más simple que también encaja. La razón por la que sentimos que la complejidad es mala per se es que parece poco probable que se generalice bien a las nuevas mascotas: ¿las serpientes pequeñas realmente no son enemigas? o es solo que no estaban en esta entrada?

Por el contrario, la regla

los perros y gatos grandes son enemigos

no se ajusta perfectamente a los datos, pero se ajusta razonablemente bien. Es más simple, y quizás por lo tanto suponemos que será más correcto para los miles de otras mascotas que no están en esta muestra.

En términos generales, la regularización es el tipo de cosa que desalienta la complejidad, incluso si significa elegir una regla menos precisa de acuerdo con los datos de entrenamiento, en las matemáticas que podrían evaluar estas reglas.

(Editado con un mejor ejemplo, por comentarios)

Término del laico:

Como padres, en algún momento tomamos una decisión sobre cuánta flexibilidad se debe dar a nuestros hijos durante su crianza. Demasiada restricción puede suprimir su desarrollo de carácter. Alternativamente, demasiada flexibilidad puede estropear su futuro. La respuesta a esta pregunta es la flexibilidad regularizada, que es dar suficiente flexibilidad agregada con la regularización. Trate de llenar las expectativas de sus hijos, como libros de cómics, configuraciones de dibujos, narración de cuentos, chocolate, helados, juegos móviles, etc. para hacerlos felices. Pero, agregue alguna regularización como:

• Tienes que terminar tu tarea también
• Distribuye chocolate por igual con tu hermana
• Muéstrame tu resultado de la prueba de clase
• Déjame volver, luego discutiremos

Regularización en Machine Learning:

De manera similar, en el aprendizaje automático, el número de parámetros tomados en el modelo para el entrenamiento usando datos observados es mayor que los números requeridos para representar el problema, lo que ayuda a generalizar bien el problema. Pero para remediar las técnicas de regularización de ajuste excesivo se agregan junto con los parámetros. Las dos técnicas de regularización más importantes en el aprendizaje automático son: abandono y normalización de lotes Respuesta de Debiprasad Ghosh a ¿Por qué ayuda la normalización de lotes?

La regularización ayuda a resolver problemas de ajuste excesivo en el aprendizaje automático. El modelo simple será una generalización de datos muy pobre. Al mismo tiempo, el modelo complejo puede no funcionar bien en los datos de prueba debido a un ajuste excesivo. Necesitamos elegir el modelo correcto entre modelo simple y complejo. La regularización ayuda a elegir la complejidad del modelo preferido, de modo que ese modelo es mejor para predecir. La regularización no es más que agregar un término de penalización a la función objetivo y controlar la complejidad del modelo utilizando ese término de penalización. Se puede usar para muchos algoritmos de aprendizaje automático.

He intentado explicar la regularización utilizando la regresión de cresta y lazo. (La respuesta de Balaji Pitchai Kannu a ¿Cuál es la diferencia entre la regularización L1 y L2? ¿Cómo resuelve el problema del sobreajuste? ¿Qué regularizador usar y cuándo?)

En términos de filosofía …

En el aprendizaje automático, el desafío de aprendizaje es:

• Muestras FINITAS dadas (datos de entrenamiento)
• Se da una hipótesis INFINITE * para elegir. Por ejemplo, incluso un modelo lineal simple Y = B1 * X1 + B2 * X2 necesita elegir un B1 y B2 fuera del rango infinito de todos sus valores reales)
• ¿Podemos elegir la Hipótesis que es más probable y aproximadamente correcta en una población completamente invisible?

Las dos palabras UPCASED representan la dificultad real y pueden hacernos fácilmente elegir un {B1, B2} que no funciona bien en datos no vistos completos (Overfit).

Cualquier mecanismo que elimine algunas hipótesis improbables / inútiles por adelantado podría hacernos bien. La regularización logra lo mismo al establecer restricciones en el tamaño del conjunto de hipótesis.

En términos de matemática ..

Solo nos importa realmente minimizar el ‘ERROR DE GENERALIZACIÓN ESPERADO’.

VC Inequality demuestra que:

• Error de generalización

Por lo tanto, minimizar al mínimo no solo el Error de entrenamiento, sino ambos términos “Error de entrenamiento + alguna medida de complejidad del modelo” podría ser una buena idea.

Esto es lo que optimizamos para la regularización.

Emméricamente, se ha encontrado que algunas formas de restricciones funcionan realmente bien, por ejemplo, las normas L2 y L1 centradas alrededor de 0.

La regularización es una técnica para hacer frente al sobreajuste que surge en el entrenamiento de un modelo sobre datos de muestra.

Echemos un vistazo al problema de ajuste de curva simple para comprender la regularización y el ajuste excesivo. Dado un conjunto de puntos [matemática] (x1, y1), (x2, y2) … (xN, yN) [/ matemática]. Nuestro objetivo es encontrar un modelo, que es una función [matemática] y = f (x) [/ matemática] que se ajusta a los datos dados. Para hacer esto, podemos usar el método de error de mínimos cuadrados.

Para simplificar, suponga que [math] f (x) [/ math] es solo una función lineal de primer orden, [math] f (x) = Wx + b [/ math]. Nuestro trabajo es descubrir qué son W yb. Configuramos una función de error que se ve así:

Para descubrir qué son W yb, debemos minimizar la función de error anterior. Sin embargo, al minimizar la función de error, nos encontramos con un problema llamado sobreajuste, cuando el modelo que encontramos encaja muy bien con los datos de entrenamiento pero falla miserablemente si aplicamos nuevos datos (es decir, obtenemos otro conjunto de puntos de datos).

Para hacer esto, introducimos nuevos términos en la función de error, lo que implica que el coeficiente W también se deriva de un proceso aleatorio. La función de error ahora se ve así:

El [math] alpha [/ math] agregado se llama término regularizado.

Para ilustrar, suponga que [math] f (x) [/ math] puede tener cualquier orden. Para generar datos de prueba, primero tenemos una función [matemática] y = g (x) [/ matemática]. Luego, de los puntos que pertenecen a [math] y = g (x) [/ math], agregamos algo de ruido y hacemos de esos puntos nuestros datos de entrenamiento. Nuestro objetivo es derivar una función [matemática] y = f (x) [/ matemática] de esos puntos ruidosos, que es lo más cercano posible a la función original [matemática] y = g (x) [/ matemática]. El gráfico a continuación muestra un ajuste excesivo, donde la función derivada (la línea azul) se ajusta bien con los datos de entrenamiento pero no se parece a la función original.

Después de usar la regularización, la función derivada se parece mucho más a la función original, como se muestra a continuación:

Supongo que Yassine Alouini describe acertadamente qué es la regularización. Además, Quora User da un buen ejemplo al trazar la función derivada con / sin / regularización.

Pero no estaba contento con las matemáticas detrás de la regularización . Así que abrí mi cuaderno para descubrir cómo [math] \ lambda [/ math] resuelve el problema de ajuste excesivo .

Aquí esta lo que hice.

Permítanos entender el problema para n número de características. El problema es que se nos da un conjunto de puntos (x1, y1), (x2, y2), (x3, y3) …… .. (xn, yn). Nuestro objetivo es ajustar una función y = f (x) a los datos dados. Llamemos a esto una hipótesis

[math] h_ \ theta (x) = \ sum_ {j = 0} ^ {n} \ theta_jx_j [/ math] para cada ejemplo

donde x es un vector [x1 x2 x3 x4 x5…. xn].

Estamos intentando encontrar los valores de [math] \ theta [/ math] para que esa función genere un valor cercano a los valores y dados. Usando el error de mínimos cuadrados para calcular nuestra función de costo, tenemos

Función de coste = [matemática] J (\ theta) = \ sum_ {i = 1} ^ {m} (h_ \ theta (xi) – yi) ^ 2 [/ matemática]

Se dice que un modelo de aprendizaje automático es complejo cuando el modelo tiene tantos Thetas que el modelo memoriza todo en los datos, “no solo las señales sino también el ruido aleatorio, los errores y todas las características ligeramente específicas de su muestra. ”

Así que aquí está la cosa, la función de costo debería ser cero si nuestra hipótesis es igual a y. Pero el modelo podría sobreajustar los datos de entrenamiento y podría no generalizarse bien para los datos de prueba. Por lo tanto, queremos penalizar todos los valores theta para reducir la complejidad del modelo. Ahora profundicemos más en nuestra función de costos.

Sin regularización

Se puede escribir como en forma vectorizada [matemáticas] J (\ theta) = (X \ theta – Y) ^ 2. [/ Matemáticas]

Expandiéndolo [matemáticas] (X \ theta) ^ 2 + Y ^ 2 – 2XY \ theta = J (\ theta) [/ matemáticas]

Considerando esto como una ecuación cuadrática en [matemáticas] \ theta [/ matemáticas], tenderá a cero en sus raíces.

[matemáticas] a = X ^ 2, b = -2XY, c = Y ^ 2 [/ matemáticas]

Con regularización

Agregando regularización a nuestra función de costos, se convierte en

[matemáticas] (X ^ 2 + \ frac \ lambda m) \ theta ^ 2 – 2XY \ theta + Y ^ 2 = 0 [/ matemáticas]

[matemáticas] a = (X ^ 2 + \ frac \ lambda m), b = -2XY, c = Y ^ 2 [/ matemáticas]

resolviendo para sus raíces, [matemáticas] = \ frac {-b \ pm \ sqrt {b ^ 2-4ac}} {2a} = \ frac DN [/ matemáticas]

s ince solo la constante a ha cambiado (aumentado) en la ecuación de regularización, disminuyendo así D y aumentando N. Por lo tanto, el valor general de theta disminuye.

[matemáticas] a \ uparrow \ space \ Rightarrow \ frac {D \ downarrow} {N \ uparrow} [/ math]

He compartido la intuición general sobre las matemáticas detrás de esto. Siéntase libre de hacerlo más riguroso.

La regularización se refiere al método para prevenir el sobreajuste, controlando explícitamente la complejidad del modelo.

Conduce a suavizar la línea de regresión y, por lo tanto, evita el sobreajuste. Lo hace penalizando la curva de la línea de regresión que trata de coincidir estrechamente con los puntos de datos ruidosos.

Hay un par de técnicas para lograr la regularización, a saber. L1 y L2, que se han cubierto bastante bien en las respuestas anteriores.

En un simple término laico, cuando tiene menos datos y muchas características en su problema, su hipótesis aprendida puede ajustarse completamente a los datos, pero no generaliza su problema. Por generalización quiero decir que su hipótesis no dará resultados perfectos para entradas futuras. Entonces, básicamente, está agregando demasiados detalles para respaldar su hipótesis. Demasiadas características que pueden tener su efecto de alguna manera pero no en general. Entonces este tipo de situación se llama sobre ajuste. Y ahora necesita penalizar esa información adicional para obtener una solución óptima. Entonces aplicas técnicas de regularización. En el que está penalizando algunas de sus funciones para obtener una solución óptima equilibrada.

Esta pregunta se ha hecho mucho sobre quora. Creo que puede encontrar la respuesta en las siguientes preguntas:

• ¿Qué es una explicación intuitiva de la regularización?
• ¿Qué es la regularización en el aprendizaje automático?
• ¿Cuáles son las diferentes formas de pensar sobre la regularización?
• ¿Cuál es la diferencia entre la regularización L1 y L2? ¿Cómo resuelve el problema del sobreajuste? ¿Qué regularizador usar y cuándo?

Me gustaría responder a su pregunta construyendo paso a paso. Supongo que conoce los términos básicos utilizados en el aprendizaje automático (por ejemplo: ejemplos de entrenamiento, predictores, conjunto de entrenamiento, conjunto de prueba).

Concentrémonos en la construcción de modelos (conjunto de entrenamiento). Los problemas de aprendizaje están mal planteados. En otras palabras, si y es la variable dependiente yx es (son) las variables independientes, Ax = y no tiene una solución única (casi en todos los problemas prácticos).

Hay 2 casos posibles que se encuentran prácticamente:

1. Número de ecuaciones >> número de variables que se pueden resolver utilizando la regresión de mínimos cuadrados ordinarios (MCO). Se espera que se generalice (funciona bien para el conjunto de prueba).
2. Número de variables >> número de ecuaciones que conduce a múltiples soluciones. El ajuste de regresión de OLS será perfecto para el conjunto de entrenamiento, pero arrojará resultados miserables para el conjunto de prueba.

El segundo es un caso de ‘sobreajuste’ (hay muchos otros casos de sobreajuste), que define un sistema sobredeterminado. He tomado este ejemplo porque es una de las formas más fáciles de entender el sobreajuste. Imagina agregar una nueva fila de x (solo para prueba) que no cabe en el sistema de ecuaciones (sobre) determinista. Cada solución factible en el sistema dará un valor predicho diferente para y, cada uno diferente del valor real de y, a veces drásticamente. Esto derrota el propósito del modelado.

Hay pocas formas de superar este problema (descrito en términos simples):

1. Disminuye el número de predictores
2. Disminuya la importancia dada a las variables en el modelo predictivo (regularización)
3. …

Una nota especial sobre el paso 2: la disminución de la importancia dada a las variables empuja al modelo hacia el modelo más básico, es decir Y = promedio (Y) que descarta todos los predictores.

Espero que esto responda tu pregunta.

En inglés simple, la regularización es ajustar la complejidad del modelo preferido para que sus modelos sean mejores para predecir o generalizar. De lo contrario, sus modelos serán demasiado complejos y estarán demasiado ajustados o demasiado ajustados, de cualquier manera, le dará predicciones deficientes que pueden no ser valiosas en resolviendo el problema o enunciado del problema.

Para regularizar, un parámetro de ajuste (lambda) le permite cambiar la complejidad del modelo o una selección de modelos de diferentes complejidades.

La regularización es una manera de hacer cumplir su creencia anterior / criterios deseados en el modelo. Por ejemplo, para una representación dispersa, desea que la representación tenga solo unos pocos elementos distintos de cero, por lo que puede agregar un término de regularización [matemática] l_0 [/ matemática] o [matemática] l_1 [/ matemática] en su objetivo, lo que efectivamente aprovecha la mayoría de los términos en la representación igual a cero.

En general es una forma de penalizar la complejidad. Una regularización común es L2 en los pesos del modelo. Esto penaliza el modelo para pesos más altos, lo que lleva algunos pesos a cero. Esto puede tener el agradable efecto secundario de eliminar los pesos que pueden ser innecesarios (es decir, aquellos que solo están ajustando el ruido). Por lo tanto, es una técnica útil para evitar el sobreajuste.

La regularización refleja el conocimiento previo sobre el modelo. Si el número o la calidad de las muestras de entrenamiento no es lo suficientemente bueno, se podrían agregar algunas distribuciones anteriores para penalizar el modelo y evitar el sobreajuste.

Cuando no hay una distribución previa asignada al modelo, el proceso de optimización puede considerarse como un problema de estimación de probabilidad máxima. Una vez que se haya asignado una distribución previa al modelo, el problema se resolverá como una estimación máxima a posteriori. A menudo, la probabilidad se puede formular como una función de optimización con un término de regularización.

Por ejemplo, la norma l2 en Regresión lineal corresponde a la anterior gaussiana sobre el peso, mientras que la norma l1 corresponde a la distribución laplaciana.

En el aprendizaje automático hay dos tipos principales de problemas y son los problemas de sesgo y varianza. También se les puede llamar sobreajuste y falta de ajuste del modelo.

El sobreajuste (varianza) es un escenario en el que su modelo está entrenado de tal manera que se ha restringido para los valores de entrenamiento y cuando se trata de probar la parte, dará lugar a errores de alto valor.

El ajuste insuficiente (sesgo) es un escenario en el que su modelo no está entrenado adecuadamente o si comenzó con una función de hipótesis incorrecta. Resulta en alta capacitación y errores de prueba.

Entonces, cuando su modelo atraviesa un escenario de ajuste excesivo, necesita un parámetro de regularización para evitar que se sobreajuste a las muestras de entrenamiento.

Entonces, en la imagen de arriba, la cosa escrita en azul después de la ecuación se llama parte de regularización.

Entonces, lo que sucede en el sobreajuste es que los parámetros que está utilizando han ganado un valor perfecto según los ejemplos de entrenamiento y desea que se modifique o reduzca, por lo que agrega estos parámetros adicionales con algún valor alto para que el costo funcione ahora para equilibrar su valor reduce los pesos / parámetros y, por lo tanto, evita que su modelo se sobreajuste.

La regularización se utiliza para evitar que el modelo se ajuste demasiado a la muestra de entrenamiento. Básicamente es un parámetro que se utiliza minimizando la función de error.

El profesor Andrew NG ofrece una muy buena introducción a la regularización en su tutorial de clase de aprendizaje automático en la sección “Regresión lineal y logística”.

Comience con todas las excelentes respuestas proporcionadas aquí
¿Cuál es la diferencia entre la regularización L1 y L2? ¿Cómo resuelve el problema del sobreajuste? ¿Qué regularizador usar y cuándo?

Una regresión o incluso un conjunto de regresiones aplicadas a datos de entrada o estructura de objeto dada para minimizar la función de pérdida. En palabras más simples: una simplificación basada en varios métodos para hacerlo con el punto Dejar importante y Viviseccionar la información basura