¿Qué son los métodos flexibles de aprendizaje estadístico?

En el campo del aprendizaje estadístico , cuando desee ajustar un modelo a un conjunto observado de puntos de datos (para poder predecir valores para datos futuros) puede elegir entre:

  1. Métodos simples (o métodos inflexibles ): esos métodos son obstinados (alto sesgo ). Usted elige su modelo sin tener en cuenta las características inherentes de sus datos observados, por ejemplo, dice que usaré un modelo lineal para ajustar las observaciones.
  2. métodos complejos (o métodos flexibles ): esos métodos intentan tener en cuenta las regularidades inherentes de los datos observados, el término flexible significa que son como un camaleón, puede llevarlos al extremo y se ajustarán perfectamente a sus datos (por ejemplo, usando un modelo polinomial de alto orden) hasta el punto de que se vuelven inútiles porque no podrán predecir datos futuros (alta varianza ).

El equilibrio de sesgo-varianza nos dice que ningún método es mejor que el otro y que debe elegir de acuerdo con sus necesidades y los datos que tiene. Me gusta pensar en esta compensación como otra instancia del “Teorema de no almuerzo gratis”.

La “flexibilidad” es una propiedad de un método de aprendizaje estadístico. Es una medida de cuánto puede variar un modelo ajustado con los datos de un tren dado. Cuanto más flexible sea el modelo, mejor podrá ajustarse a los datos del tren.

Por ejemplo, una curva de 10 grados podría ajustarse mejor a los datos dados que una curva de 2 grados. Decimos que el primero es más flexible.

Pero la flexibilidad no siempre es deseable:

  1. Inferencia: si ajustamos el modelo para comprender cómo las variables explicativas afectan la variable de respuesta, la flexibilidad no siempre es buena. Cuanto más flexible es un modelo, menos interpretable es.
  2. Predicción: incluso si no estamos interesados ​​en la interpretabilidad del modelo, los modelos altamente flexibles podrían no ser una buena opción. Esto se debe a que después de un nivel de flexibilidad, el modelo podría estar sobreajustado. Es decir, aunque podría ajustarse bien a los datos del tren, podría no ajustarse bien a los datos de prueba.