¿Por qué es importante enfatizar que el agente afecta el medio ambiente en el aprendizaje por refuerzo (RL)?

Estoy a punto de proporcionar una respuesta muy profunda que puede tomar un tiempo comprender:

1. Mira la foto que publicaste una vez más.
2. Imagina todas las líneas que indican acción como cuerdas vibratorias en el espacio de Hilbert.
3. Superponga ese modelo en un salón de clases con maestro (s) y alumno (s).
4. ¿Importa si no hay maestros o estudiantes en el aula? ¿Por qué debería importar?
5. Porque quien está en el proceso de aprendizaje afecta el proceso de aprendizaje y siempre será diferente para cada combinación de estudiante y maestro.

Supongamos que el agente toma una acción. Esta acción potencialmente cambia el estado ambiental. La acción posterior se basará en el nuevo estado ambiental.

Esto es lo mejor del aprendizaje por refuerzo. Si sabe que no solo recibe recompensas, sino que también modifica el estado del entorno que lo configura de esta manera para obtener recompensas aún más altas, ahora se abre todo el dilema de exploración vs explotación.

Esto significa que ahora puede intercambiar recompensas inmediatas para maximizar la recompensa a largo plazo. Piénsalo tú mismo, de una manera muy intuitiva. Si pensabas que, sin importar lo que hicieras, no tenías ningún impacto en el entorno donde existes, entonces, ¿cómo sería la vida? Pasaría un día tras otro y vivirías en la misma casa, conduciendo el mismo automóvil, sin interés en estudiar o entrenar. Sin embargo, sabiendo que puedes cambiar tu entorno, te pones en situaciones difíciles como ir a la escuela, estudiar mucho, ir al gimnasio, etc., sabiendo en el fondo de tu cabeza que hay mejores tiempos por delante.