Las funciones de activación son una característica extremadamente importante de las redes neuronales artificiales. Básicamente deciden si una neurona debe activarse o no. Si la información que está recibiendo la neurona es relevante para la información dada o debe ser ignorada.
La función de activación es la transformación no lineal que hacemos sobre la señal de entrada. Esta salida transformada se envía a la siguiente capa de neuronas como entrada.
- Cómo explicar los peligros de la inteligencia artificial a mis amigos no técnicos
- Teniendo antecedentes eléctricos, ¿dónde empiezo el aprendizaje automático?
- ¿Qué rasgos debería tener el lenguaje de autoría ideal para chatbot?
- ¿Qué es la ciencia de datos, big data y machine learning?
- ¿Qué tan lejos estamos de que algo como JARVIS esté disponible para el público?
Sigmoideo
La sigmoide es una función de activación ampliamente utilizada. Es de la forma
f (x) = 1 / (1 + e ^ -x)
Tanh
La función tanh es muy similar a la función sigmoidea. En realidad, es solo una versión escalada de la función sigmoidea.
tanh (x) = 2 sigmoide (2x) -1
Se puede escribir directamente como –
tanh (x) = 2 / (1 + e ^ (- 2x)) -1
ReLU
La función ReLU es la unidad lineal rectificada. Es la función de activación más utilizada. Se define como-
f (x) = max (0, x)
Se puede representar gráficamente como-
Fuga ReLU
La función ReLU con fugas no es más que una versión mejorada de la función ReLU. Como vimos que para la función ReLU, el gradiente es 0 para x <0, lo que hizo que las neuronas mueran por activaciones en esa región. Leaky ReLU se define para abordar este problema. En lugar de definir la función Relu como 0 para x menor que 0, la definimos como un pequeño componente lineal de x. Se puede definir como-
f (x) = hacha, x <0
= x, x> = 0
Para obtener más información, puede consultar este recurso: AI Journal
