¿Cuándo se debe agregar una segunda capa oculta a una red neuronal?

Se debe agregar una segunda capa oculta cuando determine empíricamente que hacerlo mejora el rendimiento de su problema. En la mayoría de los problemas, pero no en todos, dos capas ocultas funcionarán mejor que una.

La forma de determinar empíricamente si su problema se beneficiaría de una segunda capa es tomar una fracción de sus datos de entrenamiento y reservarlos. Estos datos se denominan conjunto de validación . Debería ser el más pequeño de, digamos, 10k ejemplos o 10% de sus datos. No utiliza el conjunto de validación al calcular el gradiente, ya que eso sesgaría las siguientes pruebas.

Pruebe periódicamente su red en el conjunto de validación para controlar cómo se produce el error. Desea entrenar hasta que el rendimiento en el conjunto de validación deje de disminuir (¡y antes de que comience a aumentar!). Esto se llama detención temprana y mejora el rendimiento de generalización.

Para decidir cuántas capas y cuántas neuronas necesita para un problema, simplemente pruebe diferentes valores y seleccione la configuración que haga que el error del conjunto de validación sea el más bajo.

Podría automatizar el proceso si necesita capacitarse en muchos problemas diferentes.

Consulte Para diseñar un Perceptrón multicapa, ¿debería usar más unidades por capa y menos capas o más capas y menos unidades, que es mejor?

More Interesting

¿Cuáles son las mejores prácticas para elegir el tamaño de estado oculto en RNN?

Cómo crear mi propia biblioteca de tokenizadores en PNL

Cómo evaluar los mejores resultados posibles para un clasificador SVM

¿Por qué una función del núcleo debe satisfacer la condición de Mercer?

¿Cuándo se lanzará sklearn 0.18?

¿LinkedIn utiliza Deep Learning?

¿Es un SVM o un clasificador MaxEnt apropiado para este escenario de clasificación de texto y por qué?

Cómo interpretar la salida de una red neuronal

¿Cuáles son algunos proyectos de investigación interesantes relacionados con el aprendizaje automático?

Un fundador de un fondo de cobertura me dijo que los graduados de doctorado en Big Data / ML están generando un millón de dólares al año como salario en el comercio / fondos de cobertura. ¿Qué tan correcto es esto?

¿Cuáles son las ventajas y desventajas de cada método de regresión no lineal existente?

¿Está bien usar kNN para este problema de clasificación de símbolos musicales?

Como todos están aprendiendo el aprendizaje automático y el aprendizaje profundo ahora, ¿debería adoptar un enfoque diferente para centrarme en un área específica, como la programación de gráficos o una más general, como el desarrollo de backend?

En Python, ¿cómo puedo probar y asegurarme de que mi modelo predice datos correctamente? (principiante preguntando)

¿Cuál es la razón para mapear datos de dos idiomas diferentes en un espacio de incrustación de palabras común y no usar dictonarios y asignarle el idioma b a los vectores del idioma a para entrenar un modelo de manera multilingüe?