¿Cuáles son las ventajas y desventajas de cada método de regresión no lineal existente?

En primer lugar, podemos distinguir entre dos tipos de regresión no lineal: paramétrica y no paramétrica. La regresión polinómica y la regresión basada en el “truco del núcleo”, por ejemplo, son ejemplos de técnicas paramétricas. Es decir: está ajustando una función particular o una forma funcional. Esto significa que si sus datos no se ajustan bien a ese formulario en particular, no obtendrá buenas predicciones. La principal ventaja de una técnica paramétrica es que normalmente obtiene su respuesta en forma de unos pocos parámetros (p. Ej., Coeficientes de función) que inserta en el formulario y, por lo tanto, puede evaluar las estimaciones en tiempo O (1) (constante).

Las técnicas no paramétricas pueden ajustarse a cualquier forma funcional, pero generalmente toman todos los datos al hacer predicciones o usan algún método inteligente para reducir los datos. De cualquier manera, la evaluación de las estimaciones generalmente dependerá del número de muestras, por ejemplo, O (n). El mejor ejemplo que conozco de una técnica de regresión no paramétrica es el suavizado del núcleo. Necesitamos distinguir entre la “estimación del núcleo”, en la que cada muestra de entrenamiento está ponderada por una “función del núcleo”, esencialmente un filtro lineal, y el “truco del núcleo” utilizado en las máquinas de vectores de soporte (SVM) en las que se aplica una función El resultado de un producto punto para transformar implícitamente los vectores en un espacio de mayor dimensión.

El suavizado de kernel es probablemente el mejor para datos muy ruidosos en los que tiene poco conocimiento de la forma funcional subyacente. Además, si la velocidad no es una gran preocupación. Si conoce la forma funcional, entonces la regresión lineal usando una transformación a la forma funcional conocida es probablemente una de las mejores opciones. No he usado la regresión usando el truco del núcleo, pero al igual que en la regresión lineal transformada, necesitarás experimentar con diferentes núcleos para descubrir cuál se adapta mejor a tus datos.

Esa pregunta no tiene respuesta. Todo depende de su hipótesis, sus datos y lo que está tratando de hacer.

More Interesting

¿Es el modelo de análisis factorial una versión multivariada del modelo de mezcla gaussiana?

¿Puede la operación de agrupamiento aumentar el número de neuronas en el aprendizaje profundo?

Sistemas de recomendación: ¿Cuál es la diferencia entre el filtrado colaborativo de elemento a elemento y el filtrado basado en contenido?

¿Por qué el método de Newton solo es apropiado cuando el hessiano es positivo definido?

¿Es posible o hay algún documento sobre el ajuste de hiperparámetros usando aprendizaje de refuerzo o regresión?

¿Cuáles son actualmente los temas candentes en la investigación de aprendizaje automático y en aplicaciones reales?

¿Cuál es la diferencia entre segmentación y clasificación en el procesamiento de imágenes?

¿Hay algo que Deep Learning nunca podrá aprender?

¿Debo ir a la Universidad de Radboud o Groningen para Machine Learning?

Cómo realizar análisis de opinión sobre noticias del mercado de valores

Aprendizaje automático: ¿qué significa 'Los bosques aleatorios requieren casi ninguna preparación de entrada'?

¿Cuáles son las cosas más difíciles o problemáticas para los ingenieros de Machine Learning / Deep Learning?

Cómo implementar el reconocimiento de imágenes para crear una aplicación para organizar imágenes

¿Las redes neuronales son solo clasificadores lineales vinculados con no linealidades?

¿Es cierto que las predicciones en el espacio de alta dimensión son más difíciles en torno al origen?