¿Cuáles son los algoritmos de aprendizaje de refuerzo más eficientes en datos / muestras?

Esa es una pregunta de un millón de dólares. ¡Asegúrese de informar a todos si se entera!

En una nota más seria, es muy difícil precisar un solo método porque la tarea no está especificada. Se ha informado muchas veces que diferentes tipos de algoritmos tienden a funcionar bien en diferentes tareas.

Como ejemplo, considere una tarea como agarrar. Tenemos buenas funciones de recompensa que pueden medir el progreso intermedio y, por lo tanto, comprender la asignación de crédito a largo plazo no es un problema. La dificultad radica principalmente en generalizar a un espacio de acción de estado de alta dimensión, y está más cerca de una configuración de bandidos contextuales. La función que aproxima el poder de las redes profundas brilla claramente en tales casos, e incluso los algoritmos simples como Q-learning funcionan bien. También colocaré los juegos de Atari en esta categoría (con una notable excepción de la venganza de Montezuma).

Por otro lado, tenemos problemas como el automóvil de montaña, que tiene un modelo de dinámica determinista y un horizonte de planificación muy largo. En tales casos, los algoritmos que se parecen a los métodos de búsqueda (por ejemplo, MCTS) con gran profundidad tienden a funcionar muy bien. Estas tareas son extremadamente difíciles para Q-learning.