Calcular la “derivada de una red neuronal”, o más precisamente, el gradiente de una función de costo que depende de la capa de salida con respecto a los pesos de la red neuronal, tiene una solución conocida, a saber, la retropropagación. Para obtener más información sobre esto, recomendaría esta página en particular:
Algoritmo de retropropagación
Si eso parece un poco complicado, entonces la entrada de Wikipedia podría ser un poco más intuitiva:
- ¿Cuáles son algunos asistentes de inteligencia artificial para la salud personal, el estado físico y el bienestar?
- ¿De qué se compone la inteligencia artificial?
- ¿Existen principios generales de inteligencia aumentada?
- Cómo crear una aplicación de chat de inteligencia artificial en Android
- ¿Qué significará la inteligencia artificial para los especialistas en marketing?
Propagación hacia atrás
En cuanto a la integral, tendría que pensar un poco más sobre cómo calcular una solución exacta . Sin embargo, como insinuó, es posible calcular una solución aproximada a través del muestreo de Monte-Carlo. Concretamente:
(1) Establezca cada neurona de entrada en un valor elegido aleatoriamente uniforme de [0, 1].
(2) propagar hacia adelante y calcular el valor de salida.
Repita los pasos (1) y (2) muchas veces y promedie el valor de salida. Para determinar qué tan buena es una estimación, también puede calcular momentos de orden superior, por ejemplo, la varianza, sesgo y curtosis. Siempre que su red neuronal no tenga pesos que sean masivos y esté utilizando, digamos, funciones de activación sigmoideas, esto probablemente debería proporcionar una estimación bastante buena.
Si su dimensionalidad de entrada es muy alta (> 100), la cantidad de muestras que necesita extraer puede ser prohibitivamente grande, y las estimaciones que obtenga pueden no ser muy buenas; Sin embargo, debe probar esto empíricamente para su aplicación: si encuentra que para varios conjuntos de muestras de datos, obtiene medias, variaciones, sesgos y curtosis similares, no tiene que trabajar con métodos “exactos”.
Si tuviera que encontrar un método exacto, probablemente comenzaría a inspeccionar métodos de programación dinámica similares a la propagación hacia atrás; específicamente, parece fructífero considerar los subproblemas como la salida esperada de un nodo específico en la red neuronal. Trabajar hacia atrás desde la neurona de salida puede funcionar en este caso, pero todo esto es especulación, y no lo he probado.
