La función de paso de unidad Heaviside es solo f (x) = x> = 0. Es decir, es la derivada de la función ReLU.
No se usa mucho en los ANN prácticos, pero tiene una serie de atributos que lo hacen muy útil en análisis teóricos y redes experimentales:
- Su salida es solo un bit. Por lo tanto, ejecutar una capa de salida a través de una función de paso por canal pone un límite superior estricto en la información que se puede codificar / entropía máxima de la capa de salida.
- Al igual que el punto anterior, N funciones de paso unitario (cada una con un sesgo) codifican trivialmente un N vector caliente de bits con información log2 (N) de un único canal de entrada continuo. Use Jenks Natural Breaks o similar para elegir sesgos.
- Usando 1 y 2, la función de paso de unidad es la forma más básica de agregar no linealidad a una red de múltiples capas. Por ejemplo, puede procesar las entradas MNIST (8 bits por 784) utilizando el punto 2 para obtener, por ejemplo, <3 bits por 784, luego entrenar una capa lineal y obtener un mejor resultado (93% frente a 92%)
- Agregar ruido gaussiano a la entrada de la función de paso de unidad le da un gradiente sigmoide efectivo. para que los ruidosos modelos SGD y RBM puedan funcionar con él.
- ¿Qué universidad debo solicitar para el Máster en CS y la especialización en Inteligencia Artificial?
- ¿Qué debe suceder si a alguien se le asignan asientos en IA y se le considera asesoría universitaria en la segunda ronda del NEET 2017?
- ¿Los avances actuales [y pronosticados en el futuro cercano] en inteligencia artificial causarán una interrupción importante en el empleo? Si es así, ¿cómo [como se especula] tratarán los gobiernos / la sociedad?
- ¿Cómo sería el mundo de la IA? ¿Se devaluará el dinero?
- ¿Es el aprendizaje profundo 'IA real'?
