¿Cómo se compara la neuroevolución con el aprendizaje por refuerzo? ¿Hay algún problema en el que la neuroevolución resulte en una mejor solución?

Si habla de neuroevolución como en NEAT / HyperNEAT, entonces se ha probado y DRL gana, aunque antes de DQN tenía el récord de Atari. La razón de esto es bastante simple, SGD supera los algoritmos evolutivos en muchos problemas de parámetros donde hay gradientes disponibles (advertencia a continuación).

Sin embargo, si está hablando de la forma moderna de neuroevolución en la que SGD entrena los pesos mientras los algoritmos genéticos ajustan la arquitectura y los hiperparámetros, entonces sí, la neuroevolución ha funcionado muy bien y puede superar muchos modelos hechos a mano (ver documentos recientes).

Ahora, una nota sobre el uso de algoritmos genéticos para entrenar pesas: OpenAI demostró que el uso de algoritmos genéticos como técnica para el cálculo aproximado del gradiente permite el entrenamiento hiperparalelo y, aunque es ~ 10 veces más lento que SGD, la posibilidad paralela puede reducir el tiempo del reloj de pared.