¿Cuál es la segunda generación de redes neuronales?

Existen varias clasificaciones de redes neuronales artificiales (ANN) , basadas en los enfoques utilizados , sus arquitecturas y otras características. El desarrollo de ANNs a través de estas dimensiones a lo largo de la escala de tiempo es bastante difícil de especificar debido a la granularidad diferente de varios avances en el campo. Dicho esto, uno de los tratamientos más completos del tema en este contexto es, en mi humilde opinión, el trabajo del profesor Juergen Schmidhuber (que se encuentra fuera de Quora: la página de inicio de Juergen Schmidhuber), en particular, su destacado artículo de revisión Deep Learning in Neural Networks: An Descripción general (actualmente en la cuarta revisión, última actualización a mediados de 2014).

En cuanto a la determinación y definición del tema actual más relevante / de moda en las redes neuronales, diría que se llama Redes Neurales Profundas Grandes . De acuerdo con Ilya Sutskever (solo una suposición en el perfil :-), este término debería preferirse a “redes neuronales” y “aprendizaje profundo”, al describir la investigación y práctica modernas de ANN. Para justificar y obtener más detalles sobre el término y el tema, remito a los lectores a su excelente publicación de blog para invitados Una breve descripción general de Deep Learning.

Mi mención de los artículos de revisión sobre ANN en el contexto de su clasificación sería en gran parte incompleta sin mencionar los siguientes excelentes recursos:

  • artículo [introductorio] Aprendizaje profundo en la naturaleza de Yann LeCun, Yoshua Bengio y Geoffrey Hinton;
  • [intermedio] Aprendizaje de arquitecturas profundas para IA por Yoshua Bengio;
  • [avanzado / libro de texto de MIT Press – disponible pronto tanto en línea como fuera de línea] Deep Learning de Ian Goodfellow, Yoshua Bengio y Aaron Courville.

Dependiendo de una perspectiva , se puede argumentar que la cuarta generación (o cualquiera que sea el número para el próximo período, basado en una clasificación particular) de ANN es inteligencia artificial general (AGI). Sin embargo, para esta perspectiva, ANNs es solo un mecanismo para lograr AGI. Alternativamente, desde una perspectiva puramente vinculada a ANN, la cuarta / próxima generación probablemente se referirá a redes neuronales, basadas en la combinación de enfoques actuales con algunas arquitecturas novedosas o métodos matemáticos, o a redes que alcanzan niveles extremadamente altos de precisión independientemente de su naturaleza .

PD: No soy un experto en el campo, así que toma mis pensamientos con un grano de sal.

DNN’s, Redes neuronales profundas.

La segunda generación es intrínsecamente más complicada en virtud de más capas (ocultas), mayor interconectividad y algoritmos de activación diferenciadores.

Permite redes neuronales ‘más inteligentes’.

Extrapula aún más la idea de Backpropagation e imita la idea de las neuronas cerebrales en términos de propagación de datos.

Por supuesto, no hay una definición oficial. Los autores pueden usar el término “segunda generación” como quieran. El significado depende del lapso de tiempo. Si comenzamos con la década de 1960 y pensamos en las redes propuestas hace 50 años como la “primera generación”, entonces las redes de “segunda generación” son aquellas que eran demasiado grandes para ser prácticas hace 30 años o más.

En los “viejos tiempos” las personas intentaban hacer redes más grandes, pero terminaban con problemas que les impedían ser entrenables. Los optimizadores encontrarían que los gradientes explotaran o desaparecieran.

Creo que el término “segunda generación” se refiere a redes que emplean nuevas técnicas teóricas que permiten una profundidad mucho mayor. Cosas como la función de activación ReLuU y los codificadores automáticos. Estas y otras técnicas permitieron entrenar redes profundas.

Entonces, diría que la segunda generación no es solo más profunda, sino más profunda, y utiliza técnicas que permiten entrenar redes profundas. Estas técnicas innovadoras son las que definen la segunda generación.

Mi punto aquí es que no fue solo un hardware más rápido lo que permitió redes más grandes. Entonces la profundidad por sí sola no puede definir la segunda generación.

More Interesting

¿Por qué la probabilidad condicional es más poderosa que la probabilidad conjunta en un nivel intuitivo?

¿Cuál es la diferencia entre el aprendizaje inductivo y transductivo?

¿Cómo construye Apple su red neuronal para el nuevo iPhone X Face ID? Los usuarios solo registran sus caras una vez cuando configuran el teléfono inicialmente, entonces, ¿cómo podría esa foto de los usuarios ser un conjunto de entrenamiento lo suficientemente grande como para entrenar la red neuronal?

Si pudiera construir una plataforma de contenido (piense en la entrega de noticias) desde cero con el objetivo de escalar a millones de usuarios, ¿qué infraestructura utilizaría?

¿Cuál es su visión de cómo la clase media de los EE. UU. Puede hacer frente al auge de la robótica, la automatización, etc.?

¿Cuál es el significado de muchas sinapsis entre dos neuronas en la red neuronal?

¿Cuál es el mejor enfoque e implementación para la detección y reconocimiento de objetos en la actualidad?

¿Cuáles son las principales áreas de la investigación bioinformática actual?

¿Qué biblioteca / framework AI es el mejor, OpenAI, OpenNN o TensorFlow?

¿Cuáles fueron los algoritmos utilizados para los chatbots antes de que surgiera el aprendizaje profundo?

¿Cómo se calcula la pérdida WARP de la estadística de orden K para aprender a clasificar las recomendaciones?

¿Cómo superan los modelos de lenguaje neuronal (NLM) la maldición del problema de dimensionalidad para modelar el lenguaje natural?

¿Cuál es el propósito de usar un parámetro de penalización [matemática] C [/ matemática] en SVM?

¿Por qué utilizamos la política codiciosa de epsilon para la evaluación en el aprendizaje por refuerzo?

¿Qué enfoques utilizas para vectorizar funciones en Matlab?