¿Cuál es la historia del aprendizaje automático?

Creo que ha habido cuatro oleadas de progreso en el aprendizaje automático moderno:

1. Sistemas basados ​​en reglas: Esto incluye reglas simples hechas a mano por seres humanos, árboles de decisión, listas de decisiones, etc. Son los sistemas de aprendizaje automático más simples e interpretables. Estos todavía se usan en algunos de los mejores sistemas de clasificación y clasificación en producción hoy en día, ya que son fáciles de ajustar y depurar, son eficientes para entrenar y tienen precisiones competitivas.
2. Algoritmos basados ​​en el kernel: esta ola de progreso fue liderada por la creación de SVM. El hecho de que uno pudiera usar funciones del núcleo (funciones de similitud con una propiedad especial de semidefinición positiva) para aprender no linealidades arbitrarias fue el quid principal de esta etapa. Depende en gran medida del uso de la optimización convexa para entrenar modelos de predicción en los datos y, por lo tanto, obtener garantías de optimización global para el modelo / parámetros aprendidos.
3. Estadísticas Bayesianas: El modelo estrella de esta ola fue el popular LDA (Asignación de Dirichlet Latente) para el modelado de corpus de texto. Desde entonces, las estadísticas bayesianas y las bayes no paramétricas se han vuelto muy populares en el aprendizaje automático, más populares de lo que son incluso en los departamentos de estadística. Todo tipo de datos, incluidos los datos estructurados tradicionalmente, el texto no estructurado y los datos multimedia especialmente estructurados, como las imágenes, se han analizado utilizando modelos bayesianos. En los departamentos de aprendizaje automático o ciencias de la computación, estudiará estos métodos en detalle en un curso que generalmente se titula “Modelos gráficos probabilísticos”.
4. Aprendizaje profundo: esta ola comenzó en 2012 y todavía está en marcha con mejoras fantásticas en los puntos de referencia de aprendizaje automático. Se ha utilizado para crear algoritmos y mejorar el rendimiento de los sistemas en casi todas las ramas de la inteligencia artificial, incluido el reconocimiento de voz, la visión por computadora, la robótica, la planificación, etc. y, por lo tanto, ha permitido a los investigadores en un campo muy diferente pensar de manera similar y comunicarse entre sí . Es la razón del resurgimiento de la inteligencia artificial en general y del aprendizaje automático en particular en los últimos años. También ha oscilado el péndulo en el aprendizaje automático de un fuerte enfoque en estadísticas bayesianas y modelos gráficos a un enfoque creciente en la investigación computacional respaldada por algoritmos simples como el descenso de gradiente (acelerado). Ver https://www.ics.uci.edu/~welling …

El aprendizaje automático es la tercera corriente principal en la investigación de IA.

La segunda corriente principal es la ingeniería del conocimiento. En ese momento, la gente quería que las máquinas tuvieran conocimiento de alguna manera para volverse inteligentes. Entonces resumieron el conocimiento de expertos humanos en computadoras. La ingeniería del conocimiento es muy madura en el período posterior. Las afirmaciones en los códigos de programación actuales son representaciones de sistemas expertos, que se han fusionado con el conocimiento, pero las personas en los primeros años no se dan cuenta de eso.

Más tarde, los investigadores reconocieron que es demasiado difícil obtener “conocimiento” para enseñar sistemas. Además, algunos expertos apenas pueden resumir cómo emiten juicios o no quieren compartir su experiencia. Entonces surgió el aprendizaje automático.

Originalmente, el aprendizaje automático fue creado para romper el “cuello de botella de la ingeniería del conocimiento”. La motivación es que, el conocimiento lo aprenden los humanos, ¿pueden los sistemas aprender el conocimiento por sí mismos también? De hecho, la mayoría de los resultados del aprendizaje automático de hoy son en forma de recuadro negro; Los parámetros aprendidos son difíciles de convertir en el conocimiento que una persona puede entender.

Sin embargo, a mediados de la década de 1990, con la rápida acumulación de datos, el análisis de datos se vuelve cada vez más exigente. Los datos son ricos pero la información es pobre. Nos ahogamos en los datos, pero nos morimos de hambre por el conocimiento. Por lo tanto, la técnica de análisis automático de datos, el aprendizaje automático, se convierte en fundamental. Junto con el método básico de investigación científica que cambia de la clásica “teoría + experimentos” a la actual “teoría + experimentos + informática”, e incluso aparece el término “ciencia de datos”, el aprendizaje automático se vuelve cada vez más importante, ya que el objetivo de “informática” generalmente es el análisis de datos, y el núcleo de la ciencia de datos es obtener valor del análisis de datos. Existen tres técnicas clave en la era de los grandes datos: el aprendizaje automático proporciona la capacidad de análisis de datos; la computación en la nube proporciona la capacidad de procesamiento de datos; El crowdsourcing proporciona la capacidad de etiquetado de datos. El aprendizaje automático actual está más allá de la inteligencia artificial, se ha convertido gradualmente en una de las fuentes innovadoras de tecnología inteligente de análisis de datos. Aquí, “inteligente” significa que el análisis de datos se basa en computadoras, que es diferente de la tecnología de análisis de datos tradicional basada en bolígrafo y papeles en matemáticas y estadísticas.

Desarrollos en el campo del aprendizaje automático resumidos por Bernard Marr en su orden cronológico:

Una breve historia del aprendizaje automático: todo gerente debe leer