El entrenamiento de redes neuronales profundas utilizando la propagación inversa tiene el problema de un gradiente de error que desaparece y que establece un límite sobre cuántas capas se pueden entrenar efectivamente, entonces, ¿por qué no usar un algoritmo genético para entrenar redes profundas, eliminando la propagación de errores?

Creo que estás malinterpretando el problema del “gradiente de fuga”.
No es solo un problema de optimización, sino que tiene más problemas de regularización.

El problema es que una red neuronal poco profunda tiene la capacidad de adaptarse a los datos de entrenamiento si se le da un número suficientemente grande de nodos en las capas. (Lea la literatura de Y.Bengio para discusiones detalladas)
Este fuerte poder expresivo de las pocas capas superiores hace que el gradiente se desvanezca antes de que las capas profundas sean entrenadas efectivamente para representar características útiles.

Entonces, incluso si usa GA u otro método de optimización de orden cero, creo que es probable que el error de entrenamiento se minimice bien con los cambios en la matriz de peso de las pocas capas superiores, y las capas más profundas no producen una buena representación.

Algunos investigadores ya están haciendo ese tipo de cosas, y puede ser bastante efectivo (hay un ejemplo particularmente interesante llamado HyperNEAT).
Otros investigadores han encontrado otras soluciones al problema del gradiente de fuga. Una solución es entrenar la red durante más tiempo (resulta que realmente funciona bastante bien). Otra solución es entrenar las capas cerca de las entradas utilizando algoritmos no supervisados ​​primero (como los autoencoders) y luego solo comenzar a usar la propagación hacia atrás una vez que se acerque a las capas de salida.

Pero para la optimización del enjambre de partículas necesita insertar los valores iniciales de cada una de las partículas que modifica hacia la mejor solución. GA comienza con poblaciones iniciales aleatorias e intenta encontrar las soluciones óptimas globales.