¿Cómo debo prepararme si quiero investigar en aprendizaje automático? ¿Hay documentos particulares que debería leer o algoritmos que debería implementar?

Escribí una respuesta bastante detallada que abarca varios aspectos del aprendizaje automático / ciencia de datos: la respuesta de Prasoon Goyal a ¿Qué consejo le darías a un aspirante a científico de datos? Puede seguir esa hoja de ruta para conocer los conceptos básicos de ML.

Sin embargo, la investigación es algo muy diferente. Si bien lo anterior, por supuesto, será útil, habrá mucho más que deberá hacer. Con respecto a la lectura de documentos, esencialmente para cada problema de investigación, hay un conjunto muy específico de documentos que deberá leer. Entonces, solo cuando realmente comience a trabajar en un problema tendrá una idea justa de qué documentos serán útiles para leer. Si tienes algo de tiempo libre, puedes echar un vistazo a los trabajos publicados por profesores en tu escuela. Otra posibilidad es leer algunos de los artículos más citados de los últimos años: los artículos más citados en IA. [Puede hacer clic en el número en la columna de índice h5 para ver los documentos más citados en las conferencias enumeradas.]

Idealmente, antes de graduarse, debe tener un par de publicaciones, para sentirse cómodo con todo el proceso de búsqueda de literatura y escritura. Dado que, en términos realistas, no puedes ir de cero a uno en verano en términos de conocimiento técnico, supondré que tienes una sólida formación en matemáticas y programación.

Hace varios meses leí un artículo sobre lectura estadística donde el maestro le dio a su clase la tarea de leer 100 artículos científicos en un tiempo muy limitado, una semana, IIRC. El proceso se organizó de esta manera: después de leer el documento, coloca el registro al respecto en una hoja de cálculo, donde incluye a los autores, el título, la idea principal y la calificación que le da a ese documento. Opcionalmente: tiempo dedicado a la lectura.

Evidentemente, no era necesario analizar todas las fórmulas para comprender las ideas principales. Entonces, una vez que la tarea aparentemente imposible se convirtió en una experiencia muy esclarecedora. Por lo tanto, le animo a que pruebe exactamente esto usando, por ejemplo, los dos últimos volúmenes de JMLR, para tener una idea de cómo se ve el estado del arte. Además, es probable que pases mucho tiempo haciendo eso en la escuela de posgrado, por lo que podría ser una buena idea, así que ahórrate algunos problemas.

En cuanto a otros aspectos, la respuesta de Ferenc Huszar es acertada, solo agregaría un punto: encontrar tantas encuestas como sea posible. Y si puedes escribir uno después de ese maratón de 100 papeles, ese es el nivel A.

Siga el campo para no reinventar la rueda y usar la mejor metodología.

Encuentra problemas reales importantes e interesantes que no se han resuelto. Resuelvelos.

Si quiere ser académico, publique los resultados para ayudar a otros a resolver el mismo problema también. Presta atención a lo que otros hicieron. Acláralo.

Mi experiencia, para que entiendan de dónde vengo: no tengo un doctorado en ML, pero tengo una maestría en visión por computadora con un BS en EECS, ambos de una institución de investigación (MIT). Actualmente trabajo como científico de investigación de visión por computadora haciendo principalmente investigación aplicada en lugar de investigación teórica. Yo uso el aprendizaje automático todos los días en mi trabajo.

Asumiré que ya ha sido aceptado en un programa de escuela de posgrado para aprendizaje automático y, por lo tanto, sé que desea realizar una investigación. Lo que recomendaría pasar tiempo haciendo antes de sumergirse en la investigación es desarrollar su comprensión de las herramientas y la intuición sobre varios problemas de LA. ¿Qué lenguaje tiene paquetes para varios problemas de LD (SVM, redes bayesianas, aprendizaje profundo, modelado de probabilidad, procesamiento de datos, lo que sea)? ¿Dónde puede obtener datos para estudiar problemas? ¿Qué tipo de datos le interesan? ¿Qué tipo de preguntas quieres responder? Si te hago una pregunta relacionada con ML, ¿cómo harás para resolverla? ¿Qué tipo de problemas son buenos para usar con el tipo de modelo X? Tener una intuición sobre el campo (por básico que sea) y el conjunto adecuado de herramientas para evaluar su intuición y suposiciones lo hará mucho más efectivo en la escuela de posgrado.

En la escuela de posgrado no tendrá tiempo para “jugar” con un montón de herramientas: se centrará en un problema en particular y encontrará herramientas para su problema. Creo firmemente que el juego es una excelente manera de aprender cosas nuevas y explorar nuevos problemas y desarrollar una comprensión intuitiva de un problema.

Una cosa que puedo recomendar específicamente para elevar su nivel de herramientas e intuición: intente jugar con algunos desafíos en Kaggle (Link: Your Home for Data Science). A menudo tienen problemas interesantes (aplicados) que van desde la visión hasta las finanzas (todavía no he visto un problema del habla, pero es solo cuestión de tiempo). Elija una nueva herramienta que quiera aprender (digamos que está implementando un HMM en Julia), elija un problema y ¡elimine!

Ferenc y Aleks han dado excelentes consejos, y me gustaría agregarlos para completarlos.
http://homes.cs.washington.edu/~…
– Este documento titulado ‘Algunas cosas que debe saber sobre el aprendizaje automático’ da una idea general y algunas trampas en las que pueden caer los novatos y aclara algunas telarañas sobre algunas de las preguntas pertinentes en ML. Creo que este es un documento que ningún profesional de ML debe perderse.

Además de lo que otros ya han señalado, familiarícese con el aprendizaje profundo (y la inteligencia artificial) si aún no está familiarizado con él. La razón por la que digo esto es que si mira alguna conferencia de ML de primer nivel en estos días, como NIPS, ICML, etc., verá un gran aumento en el porcentaje de publicaciones sobre Deep Learning. Es quizás el campo de aprendizaje automático de más rápido crecimiento.

Un curso en línea por Geoffrey Hinton Neural Networks para Machine Learning | Coursera, Hugo Larochelle Clase de redes neuronales: Université de Sherbrooke o Nando de Freitas El aprendizaje profundo en Oxford 2015 puede ser un buen punto de partida.

Si desea investigar, le recomendaría leer documentos sobre la mayoría de los métodos comunes, ya que constituyen la base de la mayoría de los algoritmos nuevos (en su mayoría, simplemente cambiando componentes o combinando componentes de una manera nueva). Aquí hay un breve PPT introductorio con enlaces a documentos importantes para los principales algoritmos de aprendizaje automático de hoy: https://www.slideshare.net/Colle …

Creo que esto depende de dónde empieces. Si ya tiene un título en ingeniería o ciencias de la computación, necesitará algo de experiencia o conocimiento de habilidades de programación. Es posible que desee algunos antecedentes en investigaciones previas sobre inteligencia artificial, aunque mi experiencia es que esto último no es completamente necesario si entiende cómo construir algoritmos basados ​​en reglas.

Además, me parece que se necesitan múltiples disciplinas, desde las interacciones sociales dentro de los sistemas (ingeniería de procesos) y cómo funcionan las máquinas (ingeniería mecánica) hasta algunos trabajos básicos de diseño estructural y basado en procesos (ingeniería civil y de fabricación).

La idea del aprendizaje automático es desarrollar un sistema que se autocorrija o advierta a un ser humano cuando se necesita un ajuste o mantenimiento. En metrología (una aplicación que conozco), el sistema basado en inteligencia ayuda a determinar la forma más eficiente de garantizar la calibración de una máquina o sensor y realizar la tediosa tarea de ajuste. Esto es sólo un ejemplo.

Para obtener información más pertinente sobre la preparación para el estudio, consulte a un asesor académico en su colegio o universidad. Esto lo ayudará a comprender los requisitos previos y el camino hacia su objetivo.