Redes neuronales artificiales: ¿Hebbian Learning rige el trabajo en problemas de aprendizaje automático o es solo un enfoque teórico?

El aprendizaje iterativo del peso de la conexión neural utilizando la regla de Hebbian en una unidad lineal (perceptrón) es asintóticamente equivalente a realizar una regresión lineal para determinar los coeficientes de la regresión. (Hay una prueba matemática difícil para eso).

Para el conjunto de datos IRIS, tendría unidades con 4 entradas para las 4 características (pétalo / sepal largo / ancho).
Dado que la variable dependiente (etiqueta / categoría) en el conjunto de datos IRIS es simbólica, no numérica, debe hacer alguna adaptación, por ejemplo, usar una neurona diferente para cada una de las 3 categorías (versicolor, setosa, virginica).
Luego, puede seleccionar la categoría para la cual la unidad correspondiente tiene un mayor rendimiento (o usar conexiones laterales inhibitorias recurrentes del ganador se lleva todo).

Para aprender, aplica la regla de aprendizaje hebbiana: delta (wij) = -k * err * wij, donde err será 0 si la unidad es el ganador y 1 si la unidad no es el ganador. k es la tasa de aprendizaje (por ejemplo, .1, .01, .001). wij es la contribución actual de cada peso al error.
Tenga en cuenta que si las categorías no son linealmente separables, es mejor usar el aprendizaje Back-Prop, que en realidad es solo una generalización del aprendizaje hebbiano para unidades no lineales (y redes de varias capas).

Comúnmente, para las tareas de predicción, puede / debe probar diferentes algoritmos basados ​​en redes neuronales y redes no neuronales (p. Ej., Simple vecino más cercano y variantes, árboles de decisión) y elegir el mejor. O combinarlos.

Si desea usar redes neuronales, prácticamente desea usar solo el descenso de gradiente estocástico (que es lo mismo que la propagación hacia atrás). Para la función de activación, querrá usar unidades lineales rectificadas, redes maxout o ganador local take all (también conocido como canal de salida). Estos tienen los resultados del estado de la técnica en todas las tareas que a las personas les interesan (para las redes de avance) y son más fáciles de ajustar que las redes con unidades sigmoides / tanh. La unidad lineal rectificada es solo max (0.0, x) y es muy fácil de implementar.

Si no cree que haya no linealidades en sus datos, entonces desea usar un modelo lineal y no usar una red neuronal, ya que las redes neuronales pueden sobreajustarse y los modelos lineales son MUCHO más fáciles de entrenar.

More Interesting

¿El antiguo guardia de IA ha frenado la investigación de aprendizaje automático en el MIT?

¿Realizar el blanqueamiento de datos antes del entrenamiento mejora la capacidad de generalización de un SVM?

Cómo publicar un proyecto capstone

Además de las universidades mejor clasificadas (# 1-20), ¿qué otra universidad ofrece un buen programa de maestría en informática con especialización en IA / ML en EE. UU.?

¿Existe alguna directriz para diseñar redes neuronales en términos de número de capas ocultas, número de unidades ocultas, tamaño de filtro (CNN) y paso de tiempo (RNN)?

¿Cuál es el libro recomendado sobre 'plasticidad neuronal' para informáticos, programadores o profesionales de aprendizaje profundo?

¿Podría la red neuronal de convolución completa aprender a discriminar entre clases si no hay muestreo descendente y la entrada es igual a salida?

¿Cómo puedo diseñar una gran red neuronal?

¿Cuáles son las ventajas de las técnicas de aprendizaje automático sobre las técnicas de pronóstico tradicionales?

¿Dónde puedo aprender a hacer predicciones básicas con RapidMiner?

¿Qué es la regularización de Tikhonov en términos simples?

¿Cuál es la diferencia entre el curso de aprendizaje automático de Andrew Ng en Coursera y el curso AZ ML en Python y R en Udemy?

¿Dónde se usa la función de pérdida con clases verdaderas desconocidas?

¿Cuál es un resumen del trabajo de Jordan Boyd-Graber sobre la Respuesta incremental interactiva a preguntas que le valió el Premio a la Demostración Excepcional de NIPS?

¿Cuál es una mejor manera de comenzar a aprender Ciencia de Datos, a través de cursos en línea o en un Instituto de capacitación?