¿Cómo entender las redes neuronales?

No se dicen si es correcto o no …

Las redes neuronales son lo que me gusta llamar “vudú matemático”. Las llamo así porque las ANN pueden aproximar cualquier tipo de función simplemente iterando en una función genérica sin ningún tipo de conocimiento o pensamiento sobre el sistema real.

¿Asique, como trabajan?

un ANN en su núcleo no tiene que funcionar. Es un sistema de cálculo básico basado en neuronas en el cerebro humano. Cada neurona recopila información de las sinapsis en forma de un impulso electroquímico y la combina para enviar una nueva señal. ANN trabaja de la misma manera. Un nodo recopila información de alguna entrada, cada entrada pasa a través de un peso (que representa su contribución particular a la señal general), la combina (a través de la suma) y envía una nueva señal (pasándola a través de algún tipo de función de activación). Al igual que los cerebros tienen muchas neuronas conectadas entre sí, las ANN también tienen muchas neuronas conectadas entre sí. Entonces, lógicamente, los ANN deberían ser análogos al pensamiento de un cerebro humano.

Desafortunadamente hay un problema con ANN’s. Tienen estos pesos. La cuestión es que no sabemos cuáles son estos pesos o cuáles deberían ser antes de que se capacite a la ANN. Sin embargo, lo que sí sabemos es cuál es la entrada al sistema y cuál debería ser la salida. Podemos usar esta información para entrenar al ANN usando una gran cantidad de métodos diferentes (el más común es la propagación inversa). Cada uno de estos métodos es esencialmente un método numérico iterativo que toma cuán equivocado está el sistema y lo ajusta lentamente hasta que es correcto. Piénselo como adivinar pero mucho más complicado que eso.

Para determinar si el sistema es correcto o no, se le aplica algún tipo de métrica. En las cajas de herramientas de Python comunes, he encontrado que esta métrica es un simple contador delta (si la cantidad de cambio en los pesos es pequeña, entonces está hecho). En otras herramientas (MATLAB) se realiza un análisis de regresión estadística para verificar si la diferencia entre el ANN y los datos de la prueba es estadísticamente significativa. Una vez que la métrica dice que el sistema es bueno, el sistema no se actualiza y se convierte en un estimador estático de bucle abierto (recientemente he leído algunos documentos que describen un medio para hacer que ANN se actualice continuamente para que esto pueda cambiar en el futuro).

En resumen, los ANN no son un método mágico para modelar ningún tipo de sistema. Las ANN en sí mismas son el modelo. Modelan el cerebro humano en un esfuerzo por crear un método que contenga los atributos que el cerebro humano tiene en su cálculo (versatilidad y precisión principalmente). Lo increíble de ellos es que funcionan bastante bien en una amplia gama de aplicaciones.

Creo que esto responde a su pregunta (sentí que era un poco amplia) avíseme si necesita alguna aclaración adicional y trataré de ayudarlo.

Apenas puedo decir que entiendo las redes neuronales. Pero cómo se dice si es correcto o no se llama Backpropagation. Esencialmente, lo que sucede durante esa fase es que una función de costo se minimiza, encuentra el gradiente, usando alguna forma de Descenso de degradado, con el gradiente, actualiza los pesos. ¡Enjuague y repita! Espero que esto arroje algo de luz y produzca nuevas preguntas más profundas.

Haga su propia red neuronal en Kindle

Apenas puedo decir que entiendo las redes neuronales. Pero cómo se dice si es correcto o no se llama Backpropagation. Esencialmente, lo que sucede durante esa fase es que una función de costo se minimiza, encuentra el gradiente, usando alguna forma de Descenso de degradado, con el gradiente, actualiza los pesos. ¡Enjuague y repita!

Espero que esto arroje algo de luz y produzca nuevas preguntas más profundas.

Creo que ‘Introducción a la matemática de las redes neuronales’ es un gran libro para esto. Por Jeff Heaton. Fácil de conseguir para Kindle.

Recorro muy explícitamente la red más simple posible: una puerta XOR si recuerdo. Deja todo extremadamente claro.

Las redes más complicadas son básicamente las mismas pero más profundas, más anchas, apiladas, convoluciones, etc. pero la estructura es básicamente la misma.

Durante el entrenamiento, los datos etiquetados son la verdad fundamental que espera al final de cada iteración. Un algoritmo popular, la propagación hacia atrás a menudo se usa al final de cada iteración de entrenamiento, para calcular las derivadas de error con respecto a cada peso. Teniendo esta derivada, podemos ajustar los pesos en consecuencia hacia valores más precisos.