¿Cuáles son algunas arquitecturas de redes neuronales?

Arquitecturas populares de redes neuronales

Perceptron – Red neuronal que tiene dos unidades de entrada y una unidad de salida sin capas ocultas. Estos también se conocen como ‘perceptrones de una sola capa.

Red de función de base radial : estas redes son similares a la red neuronal de alimentación directa, excepto que la función de base radial se utiliza como función de activación de estas neuronas.

Perceptrón multicapa : estas redes utilizan más de una capa oculta de neuronas, a diferencia del perceptrón de capa única. Estos también se conocen como redes neuronales de avance profundo.

Red neuronal recurrente : tipo de red neuronal en la que las neuronas de capa oculta tienen auto-conexiones. Las redes neuronales recurrentes poseen memoria. En cualquier caso, la neurona de capa oculta recibe la activación de la capa inferior, así como su valor de activación anterior.

Red de memoria a largo / corto plazo (LSTM) : el tipo de red neuronal en la que la célula de memoria se incorpora dentro de las neuronas de capa oculta se denomina red LSTM.

Red Hopfield : una red de neuronas totalmente interconectadas en la que cada neurona está conectada a todas las demás. La red se entrena con el patrón de entrada al establecer un valor de neuronas en el patrón deseado. Luego se calculan sus pesos. Los pesos no cambian. Una vez entrenada para uno o más patrones, la red convergerá a los patrones aprendidos. Es diferente de otras redes neuronales.

Red de máquinas Boltzmann : estas redes son similares a la red Hopfield, excepto que algunas neuronas son de entrada, mientras que otras están ocultas en la naturaleza. Los pesos se inicializan aleatoriamente y se aprenden a través del algoritmo de propagación inversa.

Red neuronal convolucional: obtenga una descripción completa de las redes neuronales convolucionales a través de nuestro blog Log Analytics con Machine Learning y Deep Learning.

Otros tipos de redes neuronales

Red neuronal modular : es la estructura combinada de diferentes tipos de red neuronal como perceptrón multicapa, red Hopfield, red neuronal recurrente, etc., que se incorporan como un solo módulo en la red para realizar una subtarea independiente de redes neuronales completas completas.

Red neuronal física : en este tipo de red neuronal artificial, el material de resistencia ajustable eléctricamente se utiliza para emular la función de sinapsis en lugar de simulaciones de software realizadas en la red neuronal.

Continúe leyendo el artículo completo en – Descripción general de las redes neuronales artificiales y sus aplicaciones

Convolutional NN es un sabor de FF NN, con estructuras de capas especiales como convolución y agrupación Max. Además, NN recurrente es un sabor especial de NN recursivo, con NN recurrente que tiene una estructura recursiva lineal en el tiempo, es decir, la salida del paso de tiempo anterior (o secuencia) es parte de las entradas en el paso de tiempo actual (secuencia).

Hasta donde yo sé, esos son los populares por ahora. Uno que se ajusta un poco a FF NN es el autoencoder.

Covnets se utilizan para avances recientes en el reconocimiento de imágenes, NN recurrentes como LSTM y GRU se utilizan para avances recientes en reconocimiento de voz, traducción automática y prácticamente cualquier otra estructura compleja de datos secuenciales, etc. (generaciones de escritura manual, transcripción de música, etc. )

La teoría de resonancia adaptativa propuso algunos modelos (el mapa de arte difuso es el más popular) que son avanzados, pero bastante diferentes de los redes clásicas FF (MLP, RBF, …)

Además, la memoria asociativa bidireccional permite que los datos caminen de un lado a otro dentro de la red.

a través de http://www.mql5.com/en/articles/252
además:

  • Autómatas Neurocelulares

Según sus detalles, creo que se refiere a redes neuronales artificiales (ANN). Entiendo (de algunas preguntas frecuentes de Usenet de hace años que leí), que hay cientos de ANN. ¿Supongo que la mayoría son variantes, con solo unas pocas categorías?

Si bien probablemente no se refería a la red neuronal natural (en el cerebro [humano]), tengo curiosidad por saber qué se sabe al respecto … Supongo que no existe estrictamente una arquitectura [una]. La vida es desordenada, pero el cerebro al menos no es una red estricta de alimentación … (en general, ¿quizás partes de ella?).

Otra cosa, las neuronas en ANN están muy idealizadas (pero no siempre se hacen de la misma manera, supongo que generalmente en cada tipo de red, pero podría intentar de otra manera para la “misma” arquitectura), mientras que las neuronas en el cerebro no lo son (si puede o no importar mucho, y el resto de la complejidad de las neuronas reales).

No estoy seguro, pero supongo que generalmente se usa coma flotante, pero Float32 (o incluso Float16) generalmente ¿está bien? ¿Cuál sería el mínimo? ¿Se utiliza solo el más pequeño que está convenientemente disponible? ¿Sería mejor Unums (números universales)? Eso se usa en hardware NN real (y está hecho para lenguajes de programación), como TrueNorth?

Hay tantos tipos diferentes de arquitecturas para redes neuronales, pero ahora puedo pensar en dos muy interesantes para usted …

Memoria a largo / corto plazo (LSTM): estos modelos recurrentes utilizan algunos trucos estructurales interesantes para deshacerse del problema del gradiente de fuga. Estos trucos les dan una memoria metafórica a largo y corto plazo a la que pueden acceder y manipular.

Memoria temporal jerárquica (HTM): estos modelos también son recurrentes y se implementan en el proyecto de código abierto Numenta Platform for Intelligent Computing (NuPIC). No quiero intentar explicarlos en detalle, ya que comencé a leer sobre ellos anoche, pero definitivamente puedo ver que parecen ser muy poderosos y creo que, incluso si no se usan en la IA para siempre, Parece haber encontrado una aplicación de nicho muy interesante en la detección de anomalías, algo que me imagino que es muy poderoso en criptografía. Son completamente binarios y, de todas las compañías que buscan la computación neuronal de una manera práctica, han puesto el mayor esfuerzo que he visto en simular fielmente una neocorteza.

More Interesting

En una red neuronal recurrente, ¿por qué proporcionamos una secuencia de observaciones como entrada (longitud fija) en lugar de alimentar una observación tras otra con respecto al tiempo?

¿Cómo puede llevar a cabo experimentos y compararlos con otros algoritmos en la investigación de la visión por computadora (detección de objetos, reconocimiento, seguimiento, etc.)?

¿Qué debe hacer un estudiante de diploma para aprender software o aprendizaje automático?

¿Cuál es el papel del análisis de datos exploratorios (EDA) en el aprendizaje automático?

¿El aprendizaje de refuerzo se convertirá en un tema candente en ML después del éxito de AlphaGo? ¿Qué preguntas importantes de investigación en RL aún no tienen una buena respuesta?

¿Qué es mejor para el aprendizaje profundo: TensorFlow o Chainer?

En weka, ¿qué significan las cuatro opciones de prueba y cuándo las usa?

¿Puedo usar la agrupación (k-means, etc.) en un gran conjunto de datos para automatizar el proceso de búsqueda de similitudes y hacer recomendaciones?

¿Por qué la longitud desigual del texto es un problema en el procesamiento del lenguaje natural?

¿Cuál es la mejor GPU que se utilizará para Deep Learning con presupuesto (> 400 $)?

¿Por qué podría ser preferible incluir menos predictores sobre muchos?

¿Cuáles podrían ser las características posibles para detectar fraude en transacciones en cajeros automáticos?

¿Cuál sería un buen enfoque de aprendizaje automático para un bot de comercio de criptomonedas con aproximadamente media docena de parámetros de entrada de estrategia de comercio numérico y una salida numérica (porcentaje de ganancia diaria)? Todos los días el modelo probaría nuevos parámetros.

¿Es la tasa de falso rechazo (FRR) similar a la tasa de falsos positivos (FPR)? Entonces, si es similar, ¿por qué hay disponibles diferentes definiciones para cada una de ellas?

Las redes neuronales se han vuelto muy populares en los últimos años, sin embargo, gran parte de la teoría se desarrolló hace 20 años. ¿Qué avances explican los éxitos recientes?