¿Existe alguna ventaja al usar SVM para la regresión en lugar de las ANN, cuando se intenta modelar una función compleja, no lineal, bivariante y de valor vectorial?

Tenga en cuenta que estos no son para nada exclusivos. Puede usar un SVM como capa de salida de una red neuronal multicapa. En este documento, hacerlo produjo el modelo de mejor desempeño. Lo interesante que hicieron fue usar una red neuronal entrenada en un problema, y ​​aplicaron exactamente la misma red, con la capa de salida eliminada, a los nuevos problemas de clasificación, variando la técnica utilizada para aprender una nueva capa de salida. Al hacer algo como esto, elimina la mayor parte de la desventaja de usar una red profunda, que es que lleva mucho tiempo entrenar.

Sin embargo, como señala Frank Puk, no producen un modelo muy interpretable y, a veces, eso es importante. Para la aplicación considerada aquí (clasificación de patrones visuales), eso no importa mucho (su pregunta no es sobre clasificación, pero es trivial simplemente no usar las técnicas utilizadas para transformar los pesos de salida en una distribución de probabilidad y usar sse en lugar de cross) -entropía como pérdida y el mismo método exacto es ahora regresión).

Tenga en cuenta también que el uso de SVR para aprender una función de valor vectorial tradicionalmente tenía el inconveniente de que está utilizando múltiples modelos uno contra muchos, que es 1) computacionalmente costoso y 2) no puede considerar los efectos de interacción entre las diferentes salidas. Las redes neuronales no necesariamente tienen ese inconveniente. Sin embargo, en los últimos años ha salido un número bastante decente de documentos que proponen algoritmos para hacer SVR de múltiples salidas sin usar uno contra muchos. Aparentemente, uno de estos compartió el código en GitHub. El documento trata sobre esta pregunta exacta, comparando ANN con SVR para problemas de aprendizaje de múltiples entradas y múltiples salidas (en este caso, en física de materia condensada). Te puede interesar y puedes encontrarlo en Arxiv aquí.

El modelo obtenido por SVM (o SVR) es más explicable: el parámetro resuelto por el modelo “[math] w [/ math]” puede verse como un problema de selección de características. El elemento distinto de cero en el vector “[matemática] w [/ matemática]” corresponde a la característica utilizada para hacer la clasificación, y puede usarse para reflejar la importancia de una característica utilizada en el problema de clasificación.

Además, SVM se puede ajustar más fácilmente que ANN, aunque ambos siguen siendo difíciles de hacer. Durante la fase de entrenamiento de la validación n-fold, los parámetros como [math] C [/ math] (para cualquier tipo de formulación SVM) y [math] \ sigma [/ math] (solo para kernel rbf) pueden ajustarse mediante la búsqueda de cuadrícula , mientras que el ajuste de los parámetros ANN (por ejemplo, número de capas ocultas, número de nodos en cada capa) sería más difícil y no se puede ajustar simplemente con la búsqueda de cuadrícula.