Número de capas ocultas:
Teóricamente, una red neuronal con una sola capa oculta puede ajustarse a la mayoría de las funciones de hipótesis y rara vez surge la necesidad de buscar otra capa oculta (esto es posible seleccionando el número apropiado de neuronas para la capa oculta).
Sin embargo,
Una capa oculta puede aproximarse a cualquier función que contenga un mapeo continuo de un espacio finito a otro.
- ¿Preferiría que una novela sobre la era medieval fuera históricamente precisa y llena de conceptos verificables o fácilmente legible pero de hecho escasa?
- ¿Debo ir a la Universidad de Radboud o Groningen para Machine Learning?
- ¿Por qué es que los RNN con conexiones desde la salida al estado oculto pueden expresar menos máquinas de turing?
- ¿Cuál es el mejor curso en línea para el aprendizaje automático con Python?
- ¿Cómo se diseñan las redes neuronales artificiales y qué teoremas académicos las respaldan?
Dos capas ocultas pueden representar un límite de decisión arbitrario a una precisión arbitraria con funciones de activación racionales y pueden aproximar cualquier mapeo uniforme a cualquier precisión.
Ninguna capa oculta solo puede representar funciones separables linealmente.
Entonces, siguiendo lo anterior, se puede decir que la precisión mejora al aumentar el número de capas ocultas de 1 a 2 y de 0 a 1.
Como he mencionado antes, en la mayoría de los casos prácticos, no se requiere más de 1 capa oculta para una precisión realmente buena, por lo que no hay duda de ir a buscar más y más capas ocultas, ya que el algoritmo de propagación inversa será menos efectivo.
El error del conjunto de prueba se disparará cuando use más capas ocultas, aunque es posible que haya obtenido una precisión casi perfecta para los conjuntos de trenes .
La precisión siempre está casi asociada con el rendimiento de la arquitectura y el algoritmo NN en sus datos de prueba.
Entonces, tal vez la precisión aumente cuando aumente el número de capas ocultas de 1 a 2 o de 0 a 1. Pero un aumento adicional en las capas ocultas puede hacer que sucedan cosas malas y no se puede generalizar que la precisión aumentará proporcionalmente con el aumento en el número de capas ocultas
Número de neuronas en una capa:
Este es el verdadero problema. No sé mucho sobre la optimización del número de unidades (suponiendo que se decida ese número de capas ocultas).
Después de establecer una arquitectura de red neuronal casi óptima, uno puede aumentar aún más la precisión mediante el uso de una serie de algoritmos auxiliares. Uno de estos algoritmos que se enmarca en el tema de selección del número de unidades ocultas (en una capa) se llama Poda (de nodos). Funciona eliminando nodos redundantes con iteraciones.
Espero que esto haya ayudado.
Referencias
[1] Aprendizaje automático
[2] IEEE: http://www3.nd.edu/~huang/papers…
[3] http://www.faqs.org/faqs/ai-faq/…