¿Los algoritmos de aprendizaje profundo representan métodos basados ​​en conjuntos?

Algún día podríamos llegar a la prueba de que las Redes Neuronales son esencialmente conjuntos de alguna manera (por ejemplo, Resnet, la arquitectura de la cadera de la red hoy en día, es un conjunto de redes simples), pero la intuición es muy diferente del conjunto de modelos. Entonces pienso que NO.

La mejor manera de pensar en las redes neuronales es el aprendizaje múltiple jerárquico (supervisado / no supervisado). Piense en lo que obtendría si tomara PCA de datos (llámelo PCA1) y luego tome PCA de PCA1 (llámelo PCA2) y así sucesivamente … esto es lo que podemos llamar una variedad jerárquica . Ahora, si puede tener un PCA más inteligente (que está capacitado para optimizar la pérdida de clasificación) en varias capas, eso es lo que son sus redes neuronales.

Algunas buenas respuestas aquí. Agregando mis 2 centavos, ciertas técnicas en el aprendizaje profundo pueden verse como métodos de conjunto. Un ejemplo es la capa de abandono.

Puede leer más sobre esto en https://www.cs.toronto.edu/~hint… .

Una pregunta de quora relacionada también.

¿Cómo funciona el método de abandono en el aprendizaje profundo? ¿Y por qué se afirma que es un truco efectivo para mejorar su red?

No tradicionalmente, o al menos, la forma en que normalmente creamos conjuntos hoy. Hay algunas propiedades teóricas interesantes que pueden vincular los métodos de conjunto y el aprendizaje profundo (consulte el documento asociado aquí: https://www.slideshare.net/Colle …). Mi intuición dice que están relacionados, particularmente los superaprendices y los mapeos aleatorios en máquinas de aprendizaje extremo y redes neuronales de proyección aleatoria. Sin embargo, todavía no he visto mucho trabajo teórico sobre esto.

En realidad no, a menos que uses una colección de redes profundas. Una única red profunda aprende una sola función de mapeo de entrada-salida. Para el aprendizaje en conjunto, deberíamos tener múltiples modelos que representen múltiples funciones de mapeo de entrada-salida, y una estrategia para combinar de alguna manera la salida para producir una sola salida.