¿Cuál es la diferencia entre la regularización y el sesgo inductivo en el aprendizaje automático?

La regularización es la técnica para evitar el sobreajuste. Básicamente, agrega un parámetro de ajuste a su modelo para inducir suavidad. Esto generalmente se realiza agregando un múltiplo constante al vector de peso existente. El objetivo principal de su modelo debe ser generalizar bien los datos. No debería aprender tanto los ejemplos de capacitación que no sea capaz de hacer la predicción correcta para los datos no vistos. Esto generalmente ocurre cuando el número de características excede el número de observaciones. La regularización es la técnica para prevenir este escenario.

El sesgo inductivo, por otro lado, es el sesgo de aprendizaje que se produce cuando el alumno hace ciertas suposiciones para hacer la predicción. Esto podría ser cualquier cosa, cualquier base para elegir una generalización sobre otra. La navaja de Occam es el ejemplo más común de sesgo inductivo. Por ejemplo, en el caso de ingenuos unidos, suponemos que cada entrada depende solo de la etiqueta de salida, las entradas son independientes entre sí. Este es un sesgo inductivo. En el caso de los árboles de decisión, decimos que los árboles más cortos son preferibles a los más largos. Este es nuevamente un ejemplo de sesgo inductivo.

La respuesta de Dhruv es correcta.

Aquí hay una explicación alternativa de los términos:

  • La respuesta de Prasoon Goyal a ¿Hay algún teorema en estadística o aprendizaje automático que muestre que “cuanto mayor es el conjunto de datos, mayor es la precisión”?
  • La respuesta de Prasoon Goyal a ¿Qué es una explicación intuitiva de la regularización?

Para responder a su pregunta específica sobre la relación entre los dos, una mayor regularización reduce el espacio de búsqueda y, por lo tanto, generalmente aumenta el sesgo inductivo.

More Interesting

OpenCV: ¿Cómo creo un conjunto de datos de descriptores de imagen con SIFT?

Cómo detectar si a una cadena le faltan espacios entre palabras

¿Cuáles son algunas buenas ideas de proyectos para aplicaciones web de negocios que utilizan análisis de sentimientos?

¿Cuáles son algunos puntos de referencia significativos descubiertos para el equilibrio de la máquina? (específicamente: clasificación, segmentación y desarrollos de sensores)

Si IBM introduce el aprendizaje automático en z / OS, ¿qué significará eso para un desarrollador de mainframe?

¿Cuál es la forma de generar / Ver resultados intermedios o parciales para la recomendación basada en el usuario en mahout, mientras que el mismo está disponible cuando se hace una recomendación basada en elementos en un modelo distribuido (Hadoop)?

¿Qué es el aprendizaje automático y sus diferencias con la inteligencia artificial?

Visión por computadora: ¿Existe un servicio que, dada una imagen, le dice lo que representa?

¿Cuál es la capacidad del aprendizaje automático? Quiero decir, ¿cuánto puede 'aprender' una máquina?

¿Por qué los investigadores de IA se centran solo en problemas de regresión y clasificación?

¿Cuál es la relación entre softmax y sigmoide ya que sus derivados son similares?

¿La programación de Python es suficiente para el aprendizaje automático o deberíamos aprender R también?

¿Cuáles son las habilidades requeridas para un ingeniero de aprendizaje automático / aprendizaje profundo de nivel básico?

¿Cuáles son algunas ideas importantes / brillantes en el aprendizaje automático?

¿Existe una brecha entre las estadísticas y las comunidades de aprendizaje automático? Si es así, ¿por qué?