¿Qué algoritmos de aprendizaje automático son prometedores además del aprendizaje profundo?

Edición de enero de 2017: Quiero agregar que los ganadores del DARPA Cyber ​​Grand Challenge en 2016 no hicieron un uso sustancial del aprendizaje profundo, y creo que cumplieron o superaron algunas expectativas ya altas. Mi respuesta anterior sigue

——

Estoy tan contento de que alguien pregunte. Primero, las redes neuronales profundas son geniales, todas las saludan. Entonces, por favor, nadie salte por mi garganta. Ahora, ¿qué pasa si el aprendizaje profundo no es el “algoritmo maestro”? Los árboles de decisión, especialmente los bosques aleatorios, siguen siendo una cosa. Un documento reciente del DOD identificó que el bosque aleatorio tiene la siguiente “mayor precisión de predicción” después de las redes neuronales profundas, e indicó que otros tipos de árboles de decisión tienen una explicabilidad superior. (“OK AI, ¿por qué dices que la respuesta es 42?”) En otras noticias, un buen ejemplo de cosas geniales es el Proyecto Euclid de Allen Institute of AI, que puede aprobar la parte de geometría de un examen SAT; hay diagramas y problemas de palabras: usar lo que me parece rutinas de optimización altamente personalizadas. Algoritmos personalizados: no personalizados en el sentido de ingeniería de características. O eso me parece a mí. Otro buen equipo es un equipo de la Universidad de Nueva York que construyó un reconocedor de escritura a mano para prácticamente cualquier idioma: idiomas actuales, históricos e inventados, y solo necesita entrenar a un personaje una vez o una pequeña cantidad de ejemplos para reconocer otras instancias. IIRC, hubo un aprendizaje profundo en las primeras etapas del proceso de modelado de primitivas de escritura a mano, y esas primitivas parecen representar un tipo de ingeniería de características, pero el algoritmo resultante de aprender a aprender no necesita grandes datos en la profundidad el aprendizaje lo hace.

Informe del Instituto Allen
http: //ai2-website.s3.amazonaws….

Informe de la NYU
https://www.sciencemag.org/conte…
http://www.sciencemag.org/conten…

Mientras estoy en el tema, pregúntese, ¿qué es el aprendizaje profundo? ¿Te refieres a redes neuronales artificiales profundas como las redes de comunicación? ¿O recurrente o recursivo, y / o tal vez con memoria extra? ¿Y con conjuntos de datos con etiqueta humana como ImageNet, o quieres decir más refuerzo generativo + como AlphaGo? Y si le gusta AlphaGo, resulta que hay docenas de formas relacionadas para hacer optimizaciones de la función de valor que son anteriores al refuerzo, y que provienen de la investigación de operaciones y las matemáticas aplicadas, no del departamento de IA (palabra clave: programación dinámica). En pocas palabras, es difícil ser un algoritmo maestro cuando algo realmente ni siquiera es un algoritmo. Michael I. Jordan (creo que fue él) señaló que “profundo” simplemente significa tuberías largas. Significado, ¿y qué? Un montón de cosas tiene tuberías largas. Mi punto es que el “aprendizaje profundo” no solo significa n + 1 tipos de redes neuronales profundas, sino que también significa un conjunto igualmente diverso de conjuntos de Bayes profundos, Markov profundos, quizás Dirichlet profundos … tanto para el algoritmo maestro. (Digo esto con mis disculpas y sincera admiración hacia Pedro Domigos).

(Edité la respuesta para agregar referencias y corregir / aclarar lo que decía un informe reciente del Departamento de Defensa sobre los árboles de decisión y los bosques aleatorios).

Impulsar y, en particular, XGboost es probablemente el algoritmo de aprendizaje automático más efectivo en el momento de esta respuesta.

Para la regresión, clasificación binaria o clasificación multiclase, XGboost tiende a dar mejores resultados que otros algoritmos de ML, incluido el aprendizaje profundo. Para las imágenes, los métodos de aprendizaje profundo de voz y video son mucho mejores.

Algunos comentarios rápidos:

Sí, puede usar métodos de aprendizaje profundo sin toneladas de datos, el aprendizaje profundo tiene más que ver con el tipo de datos que usa que con la cantidad de datos. Si necesita un algoritmo de reconocimiento de imágenes, puede entrenar una CNN con aproximadamente 10.000 imágenes y obtener un resultado de última generación.

Los SVM son cosa del pasado, siguen siendo útiles, pero han caído en desgracia porque siempre hay otra opción que se ejecuta más rápido y produce un mejor resultado.

¿Soporta máquinas de vectores?

De Wikipedia:

Los SVM se pueden usar para resolver varios problemas del mundo real:

  • Los SVM son útiles en la categorización de texto e hipertexto, ya que su aplicación puede reducir significativamente la necesidad de instancias de entrenamiento etiquetadas tanto en la configuración inductiva estándar como en la transductiva.
  • La clasificación de imágenes también se puede realizar utilizando SVM. Los resultados experimentales muestran que los SVM logran una precisión de búsqueda significativamente mayor que los esquemas tradicionales de refinamiento de consultas después de solo tres o cuatro rondas de comentarios relevantes. Esto también es cierto para los sistemas de segmentación de imágenes, incluidos los que usan una versión SVM modificada que utiliza el enfoque privilegiado sugerido por Vapnik.
  • Los caracteres escritos a mano se pueden reconocer usando SVM.
  • El algoritmo SVM se ha aplicado ampliamente en las ciencias biológicas y de otro tipo. Se han utilizado para clasificar proteínas con hasta el 90% de los compuestos clasificados correctamente. Las pruebas de permutación basadas en los pesos SVM se han sugerido como un mecanismo para la interpretación de modelos SVM. Los pesos de máquinas de vectores de soporte también se han utilizado para interpretar modelos SVM en el pasado. [8] La interpretación posthoc de los modelos de máquina de vectores de soporte para identificar las características utilizadas por el modelo para hacer predicciones es un área relativamente nueva de investigación con especial importancia en las ciencias biológicas.

Hay muchos enfoques prometedores con más apareciendo a un ritmo acelerado. El FEP mantiene un excelente estado de progreso en IA. La lista está orientada a espacios problemáticos y puntos de referencia de conjuntos de datos públicos.

Cada clase principal de problema muestra un rendimiento algorítmico y, más recientemente, modelo. Muchos incluyen una línea de desempeño humano cuando es apropiado o disponible. Los datos no se limitan a los enfoques de aprendizaje profundo.

Me sorprende ver cuántos de ustedes ven el aprendizaje profundo como el aprendizaje usando la red neuronal.

Para ser claros, el aprendizaje profundo es donde tienes redes profundas como redes neuronales profundas o redes de creencias profundas. Una red neuronal con 1 capa oculta (como word2vec) no se considerará un aprendizaje profundo.

Entonces, ahora responda su pregunta: la mayoría de las aplicaciones no necesitan redes neuronales profundas. He visto que muchos pueden usar la clasificación o la agrupación. Word2vec tiene muchas aplicaciones, especialmente en e-commerece, logística.

Um, todos ellos? A menos que sea Google o Amazon, el aprendizaje profundo no funcionará en muchos conjuntos de datos o incluso en la mayoría de las industrias, ya que no hay suficientes datos para que converjan los algoritmos de aprendizaje profundo. Fuera de la tecnología, la mayoría de las empresas utilizan algoritmos interpretables o algoritmos que convergen al mismo tipo de precisión predictiva que el aprendizaje profundo mucho más rápido. Aquí hay una descripción general rápida del campo del aprendizaje automático: https://www.slideshare.net/Colle … el aprendizaje profundo es simplemente una herramienta dentro de ese campo.

XGBoost, sin duda.

Diría que es tan poderoso como los algoritmos DL (ANN) cuando se trata de modelado predictivo basado en datos numéricos.

¿Sabes que los sistemas de recomendación basados ​​en la personalidad son la próxima generación de sistemas de recomendación porque funcionan mucho mejor que los de comportamiento (acciones pasadas y patrones de preferencias personales)?

¡La próxima ola de innovación!