¿En qué medida se utilizan las redes neuronales para resolver problemas de aprendizaje actuales, como clasificación, filtrado de spam, reconocimiento de imágenes, reconocimiento de voz, etc.? Todo el mundo solo usa SVM, árboles de decisión e impulso. ¿Por que es esto entonces?

Uno de los modelos de redes neuronales más exitosos que han existido por un tiempo son las redes neuronales convolucionales. Las CNN se han utilizado para leer más del 10% de los cheques en los Estados Unidos [1]. Las aplicaciones más recientes incluyen google street view, que utiliza CNN para difuminar caras y placas [2].

Incluso más recientemente, John Langford de Yahoo Research menciona en su blog que las redes neuronales están regresando ( http://hunch.net/?p=1852 ). Su publicación también tiene varios artículos muy recientes que muestran un amplio conjunto de aplicaciones recientes de redes neuronales.

Las redes neuronales en los últimos 5 años han cambiado sustancialmente de los perceptrones multicapa que alguna vez fueron. [3] proporciona una comparación de las limitaciones de los modelos de capa única (como SVM) y también muestra las mejoras drásticas de los nuevos modelos de red sobre las redes neuronales convencionales.

El comentario irónico de Geoff Hinton que decía algo así como “los SVM son un tipo de perceptrón muy inteligente, pero no obstante tiene las limitaciones de un perceptrón” tiene algo de verdad. Yoshua Bengio mencionó en algún lugar de un documento (que no puedo encontrar en este momento) cómo las representaciones de funciones pueden ser mucho más eficientes con modelos multicapa profundos en lugar de modelos de una sola capa. En el contrapunto, se ha trabajado en el desarrollo de modelos SVM multicapa [4].

Los tipos más antiguos de redes neuronales nunca se aplicaron en tareas sustanciales porque el rendimiento de la tasa de error era esporádico y los modelos a menudo se trataban como cajas negras. Los nuevos modelos que se están desarrollando tienen una base mucho más teórica, así como conexiones a otros modelos de aprendizaje automático. Por ejemplo, las redes de creencias profundas de Hinton se tratan como modelos gráficos.

Además, se ha demostrado que estas nuevas redes logran un rendimiento comparable / mejor con poca modificación. A diferencia de muchos modelos (es decir, SIFT) que requieren características específicas del dominio, muchos de estos modelos se pueden aplicar a tareas muy diferentes (es decir: si permutara los píxeles de cada imagen, el rendimiento no se vería afectado).

[1] http://data.clement.farabet.net/ …
[2] http://ieeexplore.ieee.org/xpl/f …
[3] http://www.iro.umontreal.ca/~lis …
[4]
http://cseweb.ucsd.edu/~saul/pap …