Salva las neuronas; ¡Mata las conexiones!
Las técnicas de regularización se utilizan para controlar la siempre creciente complejidad de las redes profundas. Algunos dejan neuronas mientras que otros intentan eliminar las conexiones. La red neuronal de convolución es un ejemplo específico de un enfoque centrado en la arquitectura con el mismo fin.
En los cerebros naturales, la relación conexiones-neurona (CNR) tiende a disminuir con el número de neuronas: los cerebros más grandes tienen CNR más bajos. Con ese fin, en los sistemas artificiales, concéntrese en disminuir el número de conexiones (el numerador de la relación); no se preocupe por las neuronas.
- ¿Cómo verifican las personas los resultados de un análisis de causa raíz en la minería de datos? ¿Hay algún conjunto de datos público disponible que especifique cuáles son las causas reales del problema?
- ¿Qué es un sistema o algoritmo de recomendación que dice 'Dado que consumiste X {a} veces, Y {b} veces y Z {c} veces, ¿cuál de {X, Y, Z} debería recomendarte que consumas a continuación'?
- ¿Hay alguna prueba de que no hay una solución algebraica para ajustar las redes neuronales con una (o más) capa (s) oculta (s)?
- ¿Por qué los CNN se usan más para tareas de visión por computadora que otras tareas?
- ¿Cómo y cuándo comenzaste con Kaggle?
Un proceso natural elimina el 25-30% de las conexiones en nosotros los humanos a medida que nos acercamos a la edad adulta. El número de neuronas, sin embargo, se mantiene estable. Mientras entrena redes artificiales, siga la misma estrategia: comience con muchas conexiones; pode el exceso a medida que avanza hacia un error mínimo. Mientras lo hace, si algunas de las neuronas se desperdician, no se preocupe y simplemente tararee “Disparé la conexión, pero no le disparé a la neurona” al son de la canción de Bob Marley.
¡Dispara tus matrices de peso para lograr el nirvana neural!
Para mirar sobre matrices de peso realmente dispersas (94%), visite una red profunda de baja precisión de 8/16 bits
