No destaca un solo documento, y me doy cuenta de hablar con personas que diferentes investigadores están impresionados por diferentes contribuciones, por lo que la elección de los avances a continuación es muy subjetiva:
* el documento de Normalización de lotes es emocionante debido al impacto que ya tuvo en la formación de numerosas arquitecturas, y se ha adoptado como estándar
* el documento de Ladder Networks es emocionante porque está trayendo ideas de aprendizaje no supervisadas (aquí una pila particularmente interesante de autoencoders desagradables) a la competencia con aprendizaje supervisado directo, especialmente en un contexto semi-supervisado
- ¿Cuál es una explicación intuitiva de la aproximación de la función de codificación de mosaico en el aprendizaje por refuerzo?
- ¿Qué pasaría si pocos puntos de datos son comunes en los conjuntos de capacitación y validación?
- ¿Qué tan importante fue el Premio Netflix para el área de Sistemas de recomendación?
- Cómo comenzar la investigación en Machine Learning
- ¿Qué tan difícil es aprender el aprendizaje automático y el aprendizaje profundo después de los 30 años?
* Los documentos de este año sobre redes de confrontación generativa (GAN), LAPGAN y DCGAN, realmente han elevado el listón en el modelado generativo de imágenes de formas impresionantes, convirtiendo de repente este enfoque en líder y contribuyendo al espíritu de progreso rápido en el aprendizaje no supervisado sobre el el año pasado; compiten con otro gran avance en el modelado generativo profundo basado en autoencoders variacionales, incluido el impresionante documento DRAW de principios del año pasado.
* los documentos que utilizan mecanismos de atención basados en contenido han sido numerosos durante el año pasado; Lo vi comenzar con nuestra traducción automática neuronal con atención, seguida por la máquina neural de Turing (y más tarde las redes de memoria de extremo a extremo), y muchos usos interesantes de este tipo de procesamiento para cosas como la generación de subtítulos y la manipulación de estructuras de datos ( Me gustaron en particular las redes de punteros y otros documentos sobre operaciones de estructura de datos diferenciables con pilas, colas, máquinas de enseñanza para leer y comprender, etc.). Entonces este dispositivo arquitectónico llegó para quedarse …
y muchos más no puedo hacer justicia a …
