Conceptualmente, ¿qué significa tener múltiples neuronas en una sola capa de una red neuronal?

Entonces cada neurona en lo oculto aprende su propio límite de decisión lineal. En la parte superior de la capa oculta está la capa de salida, que es otra neurona o un softmax. Entonces, lo que gana al tener una capa oculta es que primero aprende 100 formas diferentes de separar sus datos y en la capa de salida está razonando sobre cómo combinar las salidas de esas 100 decisiones. ¿Por qué es útil esto? Si sus datos no pueden separarse por un único límite de decisión lineal como:

Tiene 2 opciones, ingeniería de características, agregando características polinómicas o cortando sus datos con varios límites lineales y combinándolos en un límite lineal por partes. Una capa oculta en una red neuronal hace lo último. Si esto aún no está claro, tome el ejemplo en la esquina superior izquierda. Digamos que las distribuciones roja y negra son de una clase y la distribución verde en otra. Con un límite lineal de una sola unidad, no puede separar las dos clases, pero puede hacerlo con dos límites lineales. Por ejemplo, puede aprender un 1 contra todos o para la clase roja un 1 contra todos para la clase negra y luego puede aprender una función en las salidas de estos dos clasificadores (un OR simple) funcionaría. De esa manera, una capa oculta con 2 neuronas es lo suficientemente expresiva como para aprender esta función. ¿Por qué las personas usan capas ocultas de unas cien neuronas? Bueno, imagine cuántos límites lineales necesitaría para cortar la distribución en espiral en la parte inferior izquierda. No hay ciencia real para elegir el tamaño de la capa oculta. Todo depende de cuán complejos sean sus datos, la mejor estrategia es probar un error. Puede pensar por qué no solo usar una capa oculta de un millón de neuronas porque eso podría aprender cualquier función imaginable. La razón es que te encontrarás con un ajuste excesivo.

Puedes pensar en cada neurona en una capa como un emparejador de plantillas. Cada neurona almacena una plantilla en forma de sus pesos, y la neurona intenta detectar qué tan similar es la entrada a su plantilla almacenada.