¿Cuáles son algunas tesis doctorales notables en aprendizaje automático? ¿Por qué son notables?

Un par de otros … (todos en el linaje de Michael Jordan … por supuesto 😉)

  • Modelos probabilísticos de texto e imágenes de David Blei : en este artículo, Blei presenta el uso del proceso de Dirichlet como un modelo bayesiano (viable) para inferir mezclas de temas (y otras características). Esto se convirtió en un algoritmo notablemente exitoso tanto en la academia como en cierta medida en la industria debido a su formulación relativamente genérica, aproximación variacional y generalizaciones jerárquicas. [0]
  • Las aproximaciones de la energía libre y la divergencia contrastante de Yee-Whye Teh para modelos gráficos no dirigidos : Esto proporcionó una de las primeras conexiones a la investigación que los físicos estadísticos habían realizado en modelos gráficos muy similares en la década de 1970. Yedidia (2001) dio una conexión general entre los modelos de vidrio giratorio y algunos de los modelos gráficos que se estudian e introdujo la aproximación Bethe. Usaron esta conexión para justificar por qué la propagación de creencias funciona bien para ciertos modelos de ML (y justifica ciertas aproximaciones de árbol local / Bethe que se hacen) y proporcionó cierto nivel de rigor a los métodos de escalado iterativo comúnmente utilizados. [1]
  • Métodos de optimización convexa de Venkat Chandrasekaran para gráficos y modelos estadísticos : introdujo la descomposición escasa + de rango bajo para los modelos gráficos gaussianos que tiene una hermosa prueba usando geometría algebraica (básica). Hay algunas implementaciones prácticas de este algoritmo y los documentos posteriores sobre esto fueron gemas (especialmente el documento en Annals of Statistics ). [2]
  • Algoritmos variacionales de Michael J. Beal para la inferencia bayesiana aproximada: este fue el primer artículo en proporcionar una traducción de los métodos variacionales de la física estadística a ML. Este artículo terminó estimulando a toda una industria académica dedicada a proponer aproximaciones variacionales para modelos gráficos que tenían “suficiente decorrelación” [3]

[0] http://www.cs.princeton.edu/~ble…
[1] Página en Ucl
[2] Página sobre Caltech
[3] Página sobre Buffalo

Tesis de Emily Fox “Aprendizaje no paramétrico bayesiano de fenómenos dinámicos complejos”: http://www.stat.washington.edu/~…
No solo fue un avance importante en los métodos bayesianos no paramétricos, sino que el capítulo de la encuesta es una de las mejores introducciones a las estadísticas bayesianas.

Tres ejemplos que realmente leí / usé y que encontré muy útiles son:

Tesis doctoral de Tom Minka sobre propagación de expectativas: http://research.microsoft.com/en
Esta tesis relativamente corta introduce una clase muy importante de métodos de inferencia aproximada. Lo que me gusta es su enfoque: no tiene desorden innecesario.

Tesis doctoral de John Winn sobre transmisión de mensajes variacionales: http://www.johnwinn.org/Publicat
De manera similar a la tesis de Tom Minka, esta también presenta un método muy importante. Curiosamente, Tom y John han trabajado juntos desde hace mucho tiempo.

Tesis doctoral de Iain Murray sobre Markov Chain Monte Carlo http://homepages.inf.ed.ac.uk/im
esta es solo una gran referencia bien estructurada sobre el tema, bien podría convertirse en un libro de referencia

Muy a menudo, las tesis doctorales en aprendizaje automático son solo unos pocos trabajos publicados unidos, con introducciones más detalladas y de bajo nivel. En este caso, prefiero leer los artículos publicados, porque son más cortos y contienen menos material de libros de texto. Los que enumeré anteriormente son buenas referencias sobre sus respectivos temas.

More Interesting

Cómo juzgar la novedad de mi investigación de sistemas informáticos y qué hace que un algoritmo o diseño de sistema sea novedoso

¿Cuáles son algunos documentos notables en la investigación de lenguajes de programación?

¿Cuáles son los documentos fundamentales sobre visión por computadora?

¿Se ha saturado el alcance de la investigación para sistemas operativos y desarrollo de kernel?

¿Cuáles son algunas aplicaciones del mundo real de tipo topológico?

¿Cuáles son algunas de las ventajas de usar modelos de proceso gaussianos frente a redes neuronales?

¿Qué tan bueno es el grupo de visión por computadora de Dropbox?

¿Cuáles son buenos temas para una tesis de informática?

¿Qué podría ser el trabajo de investigación sobre autómatas (TOC)?

¿Cuáles son las diferentes áreas en las que un estudiante de informática de segundo año puede realizar su pasantía de verano?

¿En qué se diferencia la investigación de IA en India de la investigación de IA en EE. UU. O China?

¿Cuáles son algunos avances recientes en la teoría de grafos? Tomé un curso de posgrado en teoría de grafos, pero los resultados que uso de la teoría de grafos (espectrales y aleatorios) tienen más de 50 años. ¿Qué hay de nuevo y cuáles son los grandes avances recientes?

¿Cuáles son las diversas aplicaciones de las computadoras en el campo del entretenimiento?

¿Cuál es la mejor manera de hacer investigación CS en Stanford como estudiante?

¿Cómo debe un junior de Ingeniería de Software llegar a un Científico de Investigación?