¿Cuáles son algunas cosas que se deben saber sobre las redes neuronales artificiales?

Gracias por A2A.

Como saben, las redes neuronales se originaron a partir de la inspiración y la motivación del cerebro humano que, según muchos neurocientíficos y profesores de aprendizaje automático, es una computadora altamente “compleja, no lineal y paralela” . La granularidad funcional del cerebro son las neuronas, que son algunos de los mejores productos de miles de años de evolución. Una neurona puede considerarse como una unidad de cálculo individual por sí misma, pero si limita su percepción de su comportamiento solo por esa línea, piense de nuevo. Son notables jugadores de equipo y se unen mejor con neuronas de ideas afines, “Hebb: las neuronas que se disparan juntas se unen”. Son naturalmente tolerantes a fallas, adaptables, y lo sorprendente es que incluso tienden a ser específicos de la aplicación en muchas áreas (aunque pueden volver a sus funciones generalizadas en cualquier momento).

Las redes neuronales artificiales se esfuerzan constantemente por simular y mejorar estos modelos de neuronas unitarias y hacer algunos cálculos científicos serios al usarlos. Creo firmemente que también son el futuro del diseño del hardware VLSI (pero más sobre eso en alguna otra respuesta).

Te daré sus beneficios como reclutó a mi propio profesor Simon Haykins:

1. No linealidad: los ANN son un conjunto distribuido de recuadros negros computacionales que se componen de neuronas no lineales y en sí mismas no son lineales. Y esta no linealidad se distribuye a través de la red. Casi todas las señales del mundo real tienden a ser no lineales.

2. Mapeo de entrada-salida : las redes neuronales aprenden usando el paradigma de aprendizaje supervisado estándar. Es como tu primera experiencia en bicicleta. Cada vez que habría perdido el equilibrio, la caída habría sido un valor de error para usted, que habría intentado minimizar cada próxima iteración hasta el punto en que entrenó a su cuerpo y su mente para ser perfectos en detectar anomalías en el equilibrio y ajustar la distribución de su peso corporal. para compensar las anomalías de equilibrio. Estos conceptos simples ayudan a las redes neuronales a ajustar sus pesos sinápticos para minimizar el error entre la respuesta deseada y la respuesta real dada una entrada.

3. Adaptabilidad : los pesos sinápticos no están fijos ni codificados en el ANN. Cambian de acuerdo con los cambios en el entorno circundante. Incluso pueden estar diseñados para cambiar sus pesos sinápticos en tiempo real. Imagine una máquina solo ajustada para reconocer y clasificar un patrón particular. ¡Es una mierda, verdad! Pero las redes neuronales adaptan sus pesos sinápticos para la clasificación de patrones, el procesamiento de señales y las aplicaciones de control. Y cuanto más adaptativo sea el sistema que garanticemos su estabilidad, más robusto será su rendimiento en un entorno no estacionario. Pero una advertencia: la adaptabilidad no siempre se traduce en robustez, y puede ser exactamente lo contrario. Solo me gustaría resumir diciendo que “las constantes de tiempo principales del sistema deben ser lo suficientemente grandes como para descuidar las perturbaciones espurias externas y, sin embargo, lo suficientemente pequeñas como para responder a cambios significativos en el entorno”. El clásico dilema estabilidad-plástico. (En este punto, te darás cuenta de cuán increíblemente nuestro cerebro equilibra los dos)

4. Respuesta probatoria : ¿Qué sucede si puede ajustar su red para clasificar de acuerdo con una confianza mínima en la decisión final? ANN tiene esa capacidad.

5. Información contextual : la estructura misma de una red neuronal está optimizada para un conjunto particular de entradas. Y como un fiel jugador de equipo, cada neurona se adapta y cambia según los cambios generales en la actividad global de las neuronas.

6. Tolerancia a fallas : el ANN implementado en forma de hardware tiene el potencial de ser inherentemente tolerante a fallas de tal manera que si un número considerable de enlaces entre las unidades de cómputo individuales se rompen, el patrón almacenado se distorsionará por esa medida, pero no dejaría de dar una respuesta parcialmente correcta. salida. La degradación elegante es el nombre del juego, en lugar del fracaso catastrófico.

7. Implementabilidad VLSI : mi parte más favorita. Naturaleza jerárquica de VLSI + Estructura paralela de ANN. El nombre lo dice todo.

8. Uniformidad de análisis y diseño : las neuronas son los ingredientes comunes de todos los ANN, los módulos desarrollados para un tipo de red pueden reutilizarse para algún otro problema con cambios menores. Las teorías y los algoritmos de aprendizaje siguen siendo los mismos para la mayoría de las aplicaciones. (Aunque algunos campos nuevos en el aprendizaje profundo requerirán paradigmas de aprendizaje completamente nuevos).

9. Analogía neurobiológica : como mencioné anteriormente, las redes neuronales están motivadas por la mejor máquina de computación tolerante a fallas, procesamiento paralelo, adaptativo, plástico y extremadamente rápido y potente, es decir, el cerebro humano. Por lo tanto, existe una relación simbiótica entre neurobiólogos e ingenieros con ambos inspirados en los campos del otro para resolver algunos de los problemas más complejos del mundo.

Eso es más o menos lo que puedo alistar en este momento.

gracias por a2a.

Problemas que resuelve: clasificación, regresión o reducción de dimensiones

Puede ser supervisado o no supervisado

Puede ser anticipado o recurrente

Puede tener una o varias capas

Por lo general, las personas con CS consideran redes neuronales de alimentación de múltiples capas entrenadas por datos etiquetados (supervisados). Se pueden usar algunos algoritmos para entrenar este tipo: gradiente conjugado, enjambre de partículas, método de Newton, etc. El degradado estocástico gradiente es quizás el más popular. El algoritmo SGD básico es la retropropagación (BP), que no es más que una regla de cadena para obtener los pesos wrt de gradiente de la función de costo. Las matemáticas son bastante elegantes y se dice que comparten similitudes con el funcionamiento biológico de las neuronas, aunque las señales de error en las redes neuronales artificiales son demasiado locales.

Cuando las personas hablan de redes neuronales de la capa x, x puede referirse al número de pesas o neuronas, pero generalmente veo que se refiere a los pesos.

Las redes neuronales de 3 capas con un número arbitrario de neuronas pueden aproximarse a cualquier límite de clasificación.

LeCun y redes neuronales de convolución. Hintons y RBM.

Aprendizaje profundo sin supervisión; Jeff Dean y Andrew Ng en Google encontraron una neurona que ve caras de gatos.

A Ng le gusta la GPU.

Aprendizaje profundo supervisado. Abandono, Rectificador, Maxout. Estas técnicas muestran básicamente que puede mejorar el rendimiento controlando las vías de información.

Hay muchas más cosas, pero arriba hay “algo”.

¡Una comprensión funcional es un excelente lugar para comenzar!

Contrariamente a la creencia de algunos, existe una teoría que ayuda a comprender por qué son buenos modelos de aprendizaje automático, como por ejemplo este documento:

https://pdfs.semanticscholar.org

Citando el resumen: “En particular, mostramos que las regiones de decisión arbitrarias pueden ser aproximadas arbitrariamente mediante redes neuronales de avance continuo con una sola capa interna oculta y cualquier no linealidad sigmoidea continua”.