¿Cómo se explica el aprendizaje de refuerzo inverso en términos simples?

Si hablo con personas sin antecedentes de ML o CS, lo expresaría así.

Quiero enseñarle a un robot cómo comportarse de cierta manera. Para enseñarle cómo comportarse, lo controlaré manualmente en todo el mundo para darle ejemplos del comportamiento que quiero. En lugar de que el robot aprenda este comportamiento “memorizando” mis comportamientos, lo programo para usar el aprendizaje de refuerzo inverso (IRL). En IRL, el robot aprende a predecir qué objetivo debo haber estado tratando de lograr en los ejemplos que le di. Cuando se trata de actuar en el mundo, el robot se comporta de una manera que le permitirá alcanzar el objetivo que aprendió. La ventaja de IRL sobre la memorización es que si el robot se encuentra en una situación nueva que nunca vio en los ejemplos, descubrirá cómo actuar, en lugar de un robot que solo memorizó lo que hice y, por lo tanto, no puede saber qué hacer. En una situación novedosa.

El aprendizaje de refuerzo es el método para encontrar una política de acción óptima para una función de recompensa conocida. Sin embargo, para la mayoría de las aplicaciones del mundo real, la función de recompensa en sí no está clara. El RL inverso es lidiar con esta situación. Para el IRL ahora tiene una “política de acción óptima”, es decir, la demostración experta que es más fácil de obtener. El objetivo de IRL es encontrar la función de recompensa.