¿Qué consejo le darías a los estudiantes de doctorado que comienzan su doctorado en aprendizaje automático?

Comience con la clase de Andrew Ng sobre aprendizaje automático (Coursera – Cursos en línea gratuitos de las mejores universidades) o similar (supongo que ya lo sabe).
A continuación, debe leer muchos artículos en revistas establecidas en este campo. Revisar libros de aprendizaje automático. Asistir a charlas impartidas por profesores y expertos en este campo. Asistir a conferencias. Mire proyectos como la Plataforma de Numenta para la Computación Inteligente. Esto será parte de tu vida si quieres mantenerte relevante e informado. Las grandes ideas provienen de otras grandes ideas.
Eventualmente, querrás dar charlas.
La otra cosa es comenzar a emparejar problemas y soluciones. Debe comenzar a buscar formas de aplicar estos algoritmos a “problemas” específicos. Muchos de estos algoritmos pueden ajustarse a aplicaciones específicas. Esto se vuelve importante si desea atraer dólares de investigación o trabajar para otra persona. La mayoría de los empleadores quieren que traigas dinero. Una vez me dijeron que para que un ingeniero pueda ser empleado en una empresa, él / ella tiene que traer cinco veces su salario para cubrir el costo de hacer negocios.
Muy pocos profesores / profesionales alcanzan una posición muy codiciada donde son mantenidos en el personal solo por su propia reputación. Sí, las empresas mantienen posiciones eméritas, pero generalmente van a personas que han demostrado logros extraordinarios. Una vez hablé con Benoit Mandelbrot, quien me dijo que su jefe quería despedirlo (ya que había pasado su mejor momento), pero no pudo porque Benoit recibió un Field Metal.

Lo más importante es hacer un buen trabajo.

La mejor manera de hacer un buen trabajo es encontrar un programa de doctorado que le brinde mucho tiempo y libertad para hacer la investigación en la que cree, y un asesor que crea en la misma dirección de investigación que usted y lo valore. Este suele ser un buen asesor en una universidad menos prestigiosa. En una universidad prestigiosa, es más desechable y tiene más probabilidades de cargar con trabajos que no son de investigación.

Solicite muchas becas externas, para que no tenga que pasar tiempo trabajando para su estipendio y pueda concentrarse en la investigación. Personalmente obtuve la beca de doctorado de Google, que estaba pagando mi estipendio en el momento en que inventé las GAN. Hay muchas otras becas, por ejemplo, esta de Facebook: ¡La Solicitud de Becas para Graduados de Facebook ya está abierta!

Identifique un problema importante y poco apreciado con un alto impacto potencial. Asegúrese de elegir un problema que se pueda dividir en pasos intermedios más pequeños que sean valiosos en sí mismos, para que pueda tener resultados útiles que mostrar incluso si no resuelve el problema más grande en cuestión, es decir, asegúrese de tener un plan alternativo en caso de que las cosas no salgan según lo planeado.

La forma más fácil de lograr un gran impacto es crear los primeros dos artículos en un nuevo subcampo de aprendizaje profundo que está a punto de despegar. Las redes de confrontación generativas son un buen ejemplo de que esto sucede en la memoria reciente.

Como estudiante de doctorado de quinto año en aprendizaje automático aplicado (ML), enfatizo los siguientes tres consejos:

1- Trabaja con estudiantes de último año y escribe documentos con ellos. La instalación de modelos ML generalmente requiere muchos trucos y trucos, por ejemplo, ajuste de hiperparámetros. Sus colegas superiores son la mejor fuente para aprender estos trucos en el menor tiempo posible. No olvide reconocerlos por ayudarlo.

2- Para la investigación aplicada de ML, publicar artículos en revistas especializadas de ML es más fácil que las revistas convencionales. Me resulta extremadamente difícil convencer a los revisores que no están familiarizados con ML sobre la importancia de los documentos de ML.

3- Abre tu mente a nuevas ideas y direcciones de investigación. Si le gusta el aprendizaje profundo, por ejemplo, debería estar familiarizado con otros métodos convencionales, como las máquinas de vectores de soporte.

¡Buena suerte!

Depende de lo que quieras hacer. Si está buscando una carrera en la industria, continúe leyendo.

En mi experiencia, los nuevos empleados que acaban de terminar su doctorado tienen una mayor tendencia a forzar el uso de sus técnicas preferidas a cada posible problema. Debido a que muchos problemas del mundo real pueden resolverse con soluciones simples, esta tendencia resulta en el pecado de la sobre ingeniería. Idealmente, un ingeniero con un doctorado en ML sería pragmático y sabría cuándo se puede resolver un problema con heurística simple, cuándo la velocidad es más importante que la precisión (y viceversa) y otras consideraciones prácticas.