https://www.linkedin.com/pulse/n…
Hay una serie de funciones de activación que se utilizan en la red neuronal artificial. El más común es el umbral, sigmoide y funciones similares.
- ¿Qué tipos de algoritmos de aprendizaje automático son buenos para aprender representación? ¿Es solo aprendizaje profundo?
- ¿Por qué es tan difícil hacer una IA de bot altamente inteligente como GLaDOS, una que sea artificialmente 'consciente'?
- ¿Alguien ha pensado en poner aire en ascensores?
- ¿El mercado para las compañías de IA o está saturado? ¿Hay alguna necesidad clara que no se haya satisfecho?
- ¿Qué idiomas debo aprender antes de comenzar a aprender sobre IA?
El umbral es bueno porque es fácil de calcular y tiene una similitud fugaz con las neuronas cerebrales.
Sin embargo, es discontinuo y es muy difícil hacer matemáticas (análisis). El poder de modelar funciones complejas (complicadas) proviene de la no linealidad de la función de activación (los sistemas lineales se modelan mejor con solo álgebra).
Una buena propiedad del sigmoide es que su derivada se calcula casi gratis cuando calculas su valor. También permite utilizar el descenso más empinado debido a esto.
Por lo tanto, necesitamos una función de activación que sea continua (preferiblemente suave o diferenciable) para el análisis y no lineal para el poder de modelado.
