Aprendizaje profundo con estructura
Una gran cantidad de aprendizaje profundo tiene esencialmente una arquitectura de avance. Las entradas se transforman linealmente y luego se aplica un sigmoide, luego sucede lo mismo en la siguiente capa, hasta llegar a la salida. Luego retrocede.
No existe una estructura, excepto la arquitectura de la red, y cualquier cosa que produzcan las funciones de squash.
- ¿Qué hace que los parámetros del modelo sean variables latentes?
- Como dicen, cada función posible se puede modelar con una percepción de 2 capas, en teoría, ¿se puede modelar una función del universo en una red neuronal con 2 o 3 capas de profundidad?
- ¿Hay alguna API (y documentación) disponible para crear arquitecturas de red neuronal personalizadas usando Deeplearning4j?
- ¿Cómo se puede minimizar el riesgo regularizado utilizando métodos bayesianos?
- ¿Cómo debo comenzar a escribir una IA que jugará FIFA?
Sin embargo, en otras áreas del aprendizaje automático, la estructura es de enorme utilidad y es absolutamente vital. Por ejemplo, los campos aleatorios de Markov se pueden usar para segmentar una imagen detectando los límites entre campos. Podrías hacer una red neuronal que tuviera como primera capa un campo aleatorio de Markov y que tuviera capas regulares encima. En el paso de avance, inferiría el estado del campo aleatorio de Markov (probabilidad máxima), y luego lo avanzaría de forma normal. La retropropagación también procedería normalmente, pero estaría optimizando los parámetros MRF condicionados al estado dado.
Tiene que parchear algunas ideas más para que esto funcione bien (por ejemplo, es posible que deba modificar su función objetivo o hacer muchos entrenamientos previos), pero es un área relativamente inexplorada con muchas posibilidades.
Mire el trabajo de Richard Socher y cómo sus redes neuronales recursivas construyen un árbol de análisis para ver un raro ejemplo de esto.
