¿Qué algoritmo (s) de aprendizaje automático es el mejor para la regresión no lineal con un número limitado de datos?

Como ha agregado tantas restricciones al problema, gran parte de los algoritmos conocidos se descartan solo en el primer filtro.

Puede comenzar con Lazo y Regresión de cresta . Dado que sus datos son de naturaleza no lineal y tiene conjuntos de datos muy limitados, lo más probable es que pueda sobreajustar su modelo agregando mucha no linealidad, por lo que Lasso y Ridge lo manejarán por usted.

Si el número de dimensiones de su conjunto de datos es mucho mayor que sus muestras, también puede aplicar SVM con un núcleo no lineal . Vea esto para más referencias http://citeseerx.ist.psu.edu/vie…

En caso de que no esté satisfecho con la precisión, debe verificar sus datos para detectar valores atípicos. Porque tener valores atípicos en su pequeño conjunto de datos refinará su conjunto de datos para que sea aún más pequeño. Para eso, es posible que deba aplicar la regresión Cuantil que funcionará con conjuntos de datos más pequeños incluso con ruido.

Si aún no está satisfecho con la precisión, puede llegar a la inferencia bayesiana y modelar algún algoritmo no lineal basado en la inferencia bayesiana. Puede consultar http://www.fil.ion.ucl.ac.uk/~wp… este enlace para obtener más información.

Si esto tampoco le sirve de nada, entonces puede aplicar algunas técnicas como sobremuestreo, etc. para aumentar sus datos lo suficiente como para que los algoritmos funcionen bien. También debe hacer mucha regularización en cualquiera de los casos anteriores (el caso 1 ya lo hace).