La parte de avance es fácil:
Tomamos muchas sumas ponderadas de manera diferente del vector de entrada, las “aplastamos” y hacemos que cada una de estas sumas aplastadas active una unidad oculta diferente.
Luego tomamos diferentes sumas ponderadas de unidades ocultas (y las aplastamos) para obtener las unidades de salida.
Elaborar:
Toma el vector de entrada x
Ahora, para cada unidad oculta i, de n unidades ocultas, tome el producto punto del vector de entrada con los pesos de la unidad oculta h_i (es decir, sum_k h_ik * x_k, siendo k el índice de los vectores). Tome esta puntuación z_i y “aplaste” entre 0 y 1 (o -1 y 1) con lo que se llama una función sigmoidea (por ejemplo, la función logística f (z) = 1 / (1 + exp ^ -z)
Ahora, cada unidad oculta tiene una activación entre 0 y 1, llamaremos a esto o_i.
- ¿Cuáles son las mejores marcas de CPU y GPU para el aprendizaje automático?
- En el análisis de sentimiento binario, ¿es razonable tratar el texto de baja confianza como una tercera clase neutral?
- Cómo convertirse en un experto en aprendizaje automático y PNL desde principiantes
- ¿Es esta tabla Hoja de trucos de Machine Learning (para scikit-learn) una descripción precisa de cuándo se deben aplicar diferentes técnicas de aprendizaje automático?
- Cómo calcular la ganancia de información para cada atributo si estoy diseñando un árbol clasificador de decisiones con nodos binarios en cada derrame
Ahora, hacemos lo mismo que hicimos antes con la entrada original, excepto que lo hacemos con el conjunto de o_i, usando los vectores de peso w_p para todos los m nodos de salida (que podrían representar, por ejemplo, las m clases que podríamos querer clasificar una entrada en).
En el caso de la clasificación binaria, tomaríamos una sola suma ponderada de nuestras unidades ocultas y ni siquiera tendríamos que aplastarla.
