¿Es una red neuronal de alimentación de una sola capa equivalente a un algoritmo de regresión logística?

Acaba de darse cuenta de algo vital para comprender cómo funcionan realmente las redes neuronales. Como otros han explicado, tienes razón. Una regresión logística es solo un caso especial de una red neuronal.

¿Qué aprendemos de esto?

Supongamos que tenemos una red neuronal multicapa para la clasificación binaria.

Ahora sabemos que la última capa de la red solo está haciendo una regresión logística, pero ¿qué están haciendo las capas anteriores?

La entrada a una regresión logística es el vector de características de lo que sea que esté clasificando. Eso significa que todas las capas anteriores están trabajando juntas para convertir sus características de entrada originales en nuevas características. ¡Eso es exactamente lo que hace que las redes neuronales sean tan poderosas! Ellos hacen la ingeniería de características por usted y lo hacen para optimizar la precisión sobre los datos de entrenamiento.

Normalmente necesita conocimiento de dominio o una amplia exploración de datos para descubrir exactamente qué características son relevantes y cómo interactúan. Incluso después de hacer eso, excepto en sistemas particularmente simples, solo tiene una aproximación aproximada de cuáles deberían ser realmente las características. Tal vez usó [matemática] \ frac {x} {y} [/ matemática] cuando la característica relevante es [matemática] \ frac {x} {y + z} [/ matemática]. Están cerca cuando [math] z [/ math] es pequeño, pero cuando [math] z [/ math] es grande, el modelo se comportará de manera muy diferente. Una regresión logística no explica cómo interactúan las características, pero sí una red neuronal.

Si. Esta es la arquitectura de la regresión logística, que es similar a una red neuronal de alimentación de una sola capa.

En NN, no necesariamente necesita usar la no linealidad como sigmoide. Puede usar tanh, recLu, etc., pero en la regresión lógica generalmente usa sigmoide para obtener valores entre 0 y 1.