La siguiente es mi muestra muy sesgada.
Estimación óptima de modelos con variables latentes:
Las contribuciones teóricas que primero se me ocurren son métodos para estimar (casi) de manera óptima los modelos de factores latentes. Históricamente, la estimación de modelos de variables latentes no se puede hacer de manera óptima porque el problema de optimización resultante no es convexo.
- ¿Cuáles son algunas de las ventajas de usar modelos de proceso gaussianos frente a redes neuronales?
- ¿Cuáles son algunos documentos notables en la investigación de lenguajes de programación?
- ¿Qué es el hamming-incrustado? ¿Cómo mejora el modelo BoF?
- ¿Cuáles son algunos de los temas que combinarían temas de informática y biología?
- ¿Cuáles son los problemas no resueltos en el campo de la dinámica del robot?
El enfoque más llamativo se llama aprendizaje espectral. La herramienta clave de optimización en el aprendizaje espectral es la descomposición de valores singulares. El SVD resuelve de manera óptima un tipo especial de problema de optimización no convexo explotando cierta estructura. Básicamente, el aprendizaje espectral y los métodos relacionados utilizan el álgebra lineal y el método de los momentos para reformular muchos problemas de estimación no convexos que involucran variables latentes en otras que se pueden resolver de manera óptima utilizando la SVD.
Se utilizan enfoques algo similares para abordar la recuperación de matriz de bajo rango y la recuperación exacta de diccionarios de uso escaso. Estos métodos explotan cierta estructura algebraica en el problema de estimación para llegar a soluciones (casi) óptimas.
Quizás algo menos conocido en la comunidad es el trabajo sobre Superresolución de Noisy Data. La idea es analizar las señales que se generan como una superposición de fuentes puntuales en presencia de ruido. A pesar de tener mediciones ruidosas de baja resolución, este documento muestra cómo recuperar de manera casi óptima las señales de datos de alta resolución bajo ciertas suposiciones.
Aprendizaje automático interactivo:
En los últimos años, ha habido mucho trabajo teórico sobre el desarrollo y análisis de algoritmos que pueden comportarse (casi) de manera óptima en entornos adaptativos / interactivos.
Una dirección realmente interesante es la submodularidad adaptativa. Para aquellos que no saben, las funciones submodulares son una forma cada vez más popular de cuantificar conceptos relacionados con la ganancia de información y la diversidad. La submodularidad adaptativa ofrece una forma de generalizar muchos tipos de problemas de aprendizaje activo donde el objetivo es planificar una secuencia adaptativa de “consultas” para minimizar la incertidumbre sobre el problema en cuestión. Un ejemplo incluye la planificación de una secuencia de pruebas médicas para reducir rápidamente el alcance de lo que podría ser la enfermedad de un paciente. Una línea de trabajo relacionada es Interactive Submodular Set Cover.
En general, recientemente se ha avanzado mucho en el aprendizaje activo. Si bien no puedo señalar un solo papel de bala de oro, aquí hay algunos buenos. Básicamente, el desarrollo de algoritmos con fuertes garantías de rendimiento ha sido un desafío en parte debido al gran árbol de decisiones exponencialmente grande que el algoritmo podría encontrar. Es como jugar 20 preguntas: por cada pregunta que haces, hay dos posibilidades. Entonces, al final de las 20 preguntas, tiene 2 ^ 20 posibilidades en términos de su estado de conocimiento. En este caso, el algoritmo ideal es uno que siempre puede resolver el problema después de 20 preguntas sin importar las respuestas.
Una línea de investigación relacionada es sobre algoritmos de bandidos multi-armados. Probablemente el progreso reciente más interesante ha sido en algoritmos de coincidencia de probabilidad como el muestreo de Thompson. Estos algoritmos son muy atractivos debido a su simplicidad computacional. Sin embargo, anteriormente no se sabía cómo analizar estos algoritmos desde una perspectiva teórica. Eso ha cambiado en estos dos documentos (y en algunos otros). El segundo artículo es particularmente emocionante porque es una reducción extremadamente general para convertir el análisis de arrepentimiento de algoritmos de coincidencia de probabilidad en el análisis de arrepentimiento de algoritmos de estilo de confianza superior estándar.
Aprendizaje automático y teoría de juegos:
La teoría de juegos es el estudio de la toma de decisiones estratégicas. Los ejemplos relevantes para el aprendizaje automático incluyen cómo fijar el precio de los anuncios en línea para maximizar los ingresos de los sitios web y el rendimiento de los anunciantes. Aquí, el aprendizaje implica estimar las tasas de conversión de los anuncios dado el contexto (por ejemplo, la consulta de búsqueda, el contenido de la página web o la información sobre el usuario).
En general, los investigadores de teoría de juegos han asumido históricamente que los agentes de toma de decisiones son (A) computacionalmente ilimitados y (B) tienen información completa sobre su entorno observable. En la práctica, (A) implica que uno puede decidir sobre estrategias óptimas incluso si toma tiempo exponencial para calcular, y (B) implica que no necesita aprender sobre el entorno para actuar de manera óptima.
Ambas suposiciones son claramente falsas en el mundo real. Sin embargo, gran parte del análisis de la teoría de juegos se basa en estos dos supuestos para demostrar que ciertos mecanismos (métodos por los cuales interactúan los anunciantes y los creadores de mercado, por ejemplo, una subasta) son compatibles con los incentivos o son veraces.
En los últimos años, ha habido un trabajo realmente bueno para mostrar cómo combinar el aprendizaje con el diseño de mecanismos que son compatibles con incentivos ante la incertidumbre. Ver, por ejemplo, Mecanismos veraces con cálculo de pago implícito.
Otra línea de investigación es utilizar el aprendizaje automático para predecir el comportamiento de un mercado complejo. Esto conduce a una reducción dramática de la complejidad computacional si puede configurar el problema de aprendizaje correctamente. Ver, por ejemplo, Reglas de pago a través de clasificadores basados en discriminación.
Aprendizaje automático y privacidad
Ha aumentado el interés en proteger la privacidad de los datos que estamos analizando. Un concepto propuesto recientemente se llama privacidad diferencial, que es básicamente una propiedad de analizar qué tan estadísticamente está una base de datos pública corrupta de una privada que no queremos liberar. Una línea de investigación reciente es sobre el desarrollo de algoritmos de aprendizaje automático que sean estadísticamente sólidos mientras se aprende en un entorno diferencialmente privado. Ver por ejemplo este artículo.
