Aprendizaje automático: ¿cuáles son las ventajas de SVM sobre las redes neuronales y k- vecinos más cercanos?

Gracias por el A2A!

En http://jmlr.csail.mit.edu/papers … Manuel et all evalúan 179 clasificadores que surgen de 17 familias diferentes en diferentes conjuntos de datos del repositorio y paquetes de aprendizaje UCI y concluyen que los algoritmos que probablemente sean los mejores son los bosques aleatorios y las SVM. ! Si está interesado en paquetes y bibliotecas populares, puede leerlo …

Los SVM son algoritmos de aprendizaje muy potentes con una teoría bien definida. De hecho, si el conjunto de datos es pequeño o no tengo datos sin etiquetar, es probable que estos (o RF) sean mi primera opción para la experimentación. ¿Por qué cuando los conjuntos de datos son pequeños? Veamos esta figura (esta figura es de http://cs229.stanford.edu/materi … diapositiva no 3, solo la estoy redibujando, por lo que es posible que desee ver las diapositivas originales …)

básicamente, se espera que cuando los conjuntos de datos sean pequeños, la mayoría de los algoritmos de aprendizaje tengan un mejor desempeño que las metodologías de aprendizaje profundo.

Además, los SVM son clasificadores mucho más potentes que KNN. Y también se usan en jerarquías profundas http://deeplearning.net/wp-conte… .

El SVM (redes neuronales convolucionales CS231n para el reconocimiento visual) es un objetivo más local que puede considerarse como un error o una característica. Además, el SVM calcula puntuaciones no calibradas y no fáciles de interpretar. Además, no pueden hacer uso de conjuntos de datos no etiquetados. Dicho esto, los SVM son uno de los clasificadores más potentes que existen …

Además, como dijo Leonid, la elección depende más de los datos, ya que K-NN requerirá datos menores (con conjuntos de datos más grandes, esto podría ser mucho más lento en el momento de la prueba).

Las redes neuronales superan a otros métodos, generalmente si (1) realmente hay muchos datos (2) su estructura es compleja, por ejemplo, tienen muchas capas. En particular, si desea resolver un problema de clasificación, necesita muchos ejemplos por clase.

El clasificador vecino más cercano, por el contrario, no necesita muchos ejemplos por clase. Entonces, si tiene un problema de clasificación con un par de ejemplos de entrenamiento por clase, los vecinos más cercanos probablemente vencerán a otros métodos. Incluso cuando esto no es cierto, es decir, hay muchos datos de entrenamiento para cada clase, la decisión de un clasificador kNN es una buena meta-característica (¡para SVN o una red neuronal!).

Los SVM requieren sustancialmente más datos de entrenamiento que kNN, pero menos que las redes neuronales (para obtener un rendimiento decente). Los SVM lineales se pueden entrenar más rápidamente, pero son menos precisos que los enfoques no lineales. Sin embargo, los granos no lineales pueden no generalizarse bien (ver Capítulo 5, de Goodfellow et al). Sus tiempos de entrenamiento también son más largos en comparación con el caso lineal. Los enfoques estándar para entrenar SVM son más que cuadráticos en el número de muestras de entrenamiento (por ejemplo, código Scikit-learn), pero los tiempos de entrenamiento pueden ser más bajos para SVM lineal y SVM no lineal entrenado con algunos algoritmos recientes (vea una ACTUALIZACIÓN al final )

Dicho esto, los algoritmos de entrenamiento para SVM tienen mejores garantías (el problema de optimización es convexo). Las redes neuronales profundas son más delicadas y a veces requieren un poco de cuidado de niños.

ACTUALIZACIÓN sobre los tiempos de capacitación de SVM : recientemente realicé una revisión adicional de la literatura sobre el tema. El SVM estándar con un núcleo no lineal tiene más de una complejidad cuadrática con respecto al número de ejemplos de entrenamiento. De hecho, esta es la complejidad de la implementación de SVM en LIBSVM y Scikit-learn.

Para el SVM lineal, puede hacer que la complejidad sea proporcional al número de muestras de entrenamiento multiplicado por el número de características distintas de cero (consulte Entrenamiento de SVM lineales en tiempo lineal, 2006 Thorsten Joachims). Sin embargo, esto es cierto solo para un pequeño conjunto de características (en comparación con el número de muestras de entrenamiento). No sé qué sucede si entreno SVM en vectores TF-IDF dispersos que incluso pueden incluir bigrams. En este caso, la cantidad de funciones es enorme y los tiempos de entrenamiento pueden ser largos.

Por último, pero no menos importante, hay varias mejoras relativamente recientes que facilitan la capacitación de SVM (especialmente las kernelized), por ejemplo, al confiar en un gradiente estocástico presupuestado decente. Hay una serie de implementaciones proporcionadas en la biblioteca BudgetedSVM.

SVM es solo otra hipótesis. Para problemas donde el supuesto de margen grande es cierto, SVM funcionará mejor que ANN & k-NN. Además, la formulación de la función de costo también es diferente. Entonces, dependiendo del problema, un SVM podría converger a una mejor solución y más rápido que otros modelos.