¿Qué algoritmo de aprendizaje automático puede dar la mejor solución para la clasificación no lineal?

Depende totalmente de tu problema. Como las otras respuestas dicen svm, nn, y los bosques aleatorios son los métodos primitivos cuando la clasificación no lineal está en mente con al menos una garantía teórica. Sin embargo, sus datos también pueden dar una idea con poca observación.

Por ejemplo, si sus datos son grandes y representados dispersos, entonces no podrá utilizar bosques aleatorios ya que su implementación no es adecuada para captar datos dispersos. En comparación con nn, es más fácil ajustar svm. Tiene menos número de parámetros pero diferentes núcleos. Por otro lado, nn requiere cierto conocimiento de dominio, bits y piezas para generar el modelo de aprendizaje más eficiente. Sin embargo, si tiene tiempo y conocimiento, promete un rendimiento líder para los demás, como se puede observar en los éxitos actuales de nn

Esto depende mucho de los datos.
Un clasificador lineal puede funcionar perfectamente para la clasificación no lineal si primero transforma sus datos en características. Usando K-Means, un RBM, un autoencoder u otros métodos.

La regresión logística con características polinómicas o un núcleo también puede funcionar muy bien.

En los datos RAW tienes las opciones de un kernel SVM, un NN, Random Forests, Star Trek Next Generation, etc.

Redes neuronales y máquinas de vectores de soporte con kernel rbf