El uso de una suma lineal de entradas permite que cada neurona resuelva funciones separables linealmente, por ejemplo, la función OR o la función AND. Históricamente, estos fueron los tipos de funciones que Minsky estudió por primera vez y que realizó gran parte del trabajo sobre los perceptrones (piense en los ANN de capa única). Usar una función cuadrática con un sigmoide para la neurona sería similar a transformar el espacio de entrada a la kernels en SVM, es decir, mapear el espacio de entrada a un espacio de mayor dimensión y luego limitar el resultado con la función sigmoide. No he examinado esto específicamente, pero estoy seguro de que hay muchos documentos que utilizan todo tipo de funciones de umbral y métodos de agregación.
Otro aspecto interesante de la agregación lineal es que es computacionalmente simple (también puede ser paralelizado), fácil de visualizar (es decir, hiperplanos que dividen el espacio de entrada) y demostrado ser un aproximador universal (para una capa oculta y funciones de activación monotónicas crecientes) para funciones continuas Además, la agregación lineal (que es solo el producto escalar de los vectores de peso y entrada) permite que tanto la propagación directa como la inversa se expresen únicamente en términos de cálculos matriciales, que pueden explotar bibliotecas matriciales rápidas (y hardware, como CUDA) y simplificar la codificación
- Cómo evaluar un experimento además de usar una diferencia en regresión de diferencia
- ¿Existe alguna base biológica para las redes de confrontación generativas?
- ¿Qué es una regresión logística condicional?
- ¿Realizar el blanqueamiento de datos antes del entrenamiento mejora la capacidad de generalización de un SVM?
- ¿Cómo puede llevar a cabo experimentos y compararlos con otros algoritmos en la investigación de la visión por computadora (detección de objetos, reconocimiento, seguimiento, etc.)?
