¿Existen las redes neuronales de Markov?

Nunca he oído hablar de uno. Eso es todo lo que puedo decirte con seguridad.

Sin embargo, no sería demasiado difícil de hacer.

Inicialice todos los pesos a valores positivos y normalice las filas según sus normas L1.

Para las actualizaciones de peso, toma el gradiente como de costumbre y luego lo proyecta en el hiperplano [math] \ sum w_i = 1 [/ math] antes de multiplicar por la tasa de aprendizaje. Luego, si aumentara el peso por encima de 1 o por debajo de 0, reduzca la escala hasta que ya no lo haga. alternativamente, puede proyectarlo en el hiperplano de dimensión inferior que excluye aquellos pesos que irían fuera de [math] [0,1] [/ math].

Imponer restricciones a los pesos no es difícil, pero hace que la optimización sea mucho más difícil porque es fácil quedarse atascado en los mínimos locales a lo largo del límite de la región restringida.

En cuanto a las capas repetidas, eso es muy común y fácil de hacer. No hay inconvenientes importantes allí.

La verdadera pregunta es ” ¿por qué? “. Es un pensamiento interesante, pero ¿qué problema resuelve? Pude ver que la restricción de peso es útil para normalizar las características de la red media, pero hace que la optimización sea mucho más difícil que esperaría que los métodos de normalización habituales como la normalización por lotes sean más útiles.

Creo que puede imponer esas restricciones a los pesos de una red neuronal, pero apenas puedo imaginar un propósito.

También puede probar una capa softmax cuyas activaciones se suman a 1 y todas son positivas. Es totalmente posible apilarlos.