Las categorías aprendidas por una red neuronal ya pueden considerarse atractores. Dadas las entradas de un dominio particular, una red capacitada convergerá en una de las categorías. Al perturbar las características de la entrada, podemos tener una idea de la cuenca de atracción de cada categoría.
Pero esta es una visión limitada de los atractores. Hasta donde yo sé, ninguna técnica práctica de aprendizaje automático presenta características tales como ciclos límite o tiempos de convergencia distintos de cero. Una red entrenada ‘converge’ en su categórico ‘atractor’ instantáneamente.
Esto se debe a que básicamente no tienen ninguna dinámica temporal real. La actividad de cada neurona artificial es una función de transferencia en lugar de algo gobernado por una ecuación diferencial dependiente del tiempo.
- ¿Qué se sabe sobre la detección de incertidumbre o vacilación en el texto en lenguaje natural (no en el habla)?
- Cómo acceder a las funciones extraídas por OverFeat
- Aprendizaje automático: ¿cuáles son las ventajas de SVM sobre las redes neuronales y k- vecinos más cercanos?
- ¿Cuáles son las mejores marcas de CPU y GPU para el aprendizaje automático?
- ¿Quiénes son algunos de los mayores usuarios de Apache Hive? ¿Cuáles son sus casos de uso? ¿experiencias?
El tiempo aparece en el procedimiento de entrenamiento. Los pesos de conexión se rigen por ecuaciones de diferencia. Por lo tanto, podría pensar en los mínimos de la función de costo como atractores durante el proceso de capacitación, pero no estoy seguro de si ese es un enfoque particularmente esclarecedor.
Las redes de atractores que tienen dinámicas temporales son geniales, pero aún no hemos encontrado formas de aplicarlas para nada computacionalmente útil. Calcular todos esos pasos de tiempo es un gran gasto sin un beneficio tecnológico claro.
Otras lecturas:
Red de atractores – Scholarpedia
