¿Las redes de cápsulas reemplazarán a las redes neuronales?

Creo que la mejor pregunta es: “¿Las redes de cápsulas reemplazarán a las redes neuronales convolucionales ?” Es decir, después de todo, el argumento de venta de Geoffrey Hinton para las redes de cápsulas: que las CNN son horribles porque solo perciben características locales, confiando en la agrupación máxima como un truco para detectar estructura – y que las cápsulas son superiores porque entienden pose (traslación y rotación de objetos) [1].

Para la imagen de arriba, documentos recientes afirman que las redes de cápsulas pueden reducir el error hasta en un 45% [2] al detectar que los elementos principales y los elementos siguientes son los mismos. Eso es increíblemente emocionante si es cierto, porque esto ha sido algo con lo que las CNN y el aprendizaje profundo en general han luchado.

Pero también vale la pena recordar que este documento acaba de salir este año (2017). Los investigadores se apresuran a ser parte de la próxima gran cosa en el aprendizaje automático. Tomará algún tiempo tener nuestro momento Panda o Gibbon [3] con cápsulas.

Entonces la respuesta aburrida es: demasiado pronto para decirlo. Pero si tuviera que adivinar, diría que las redes de cápsulas terminarán siendo una capa (o componente ) importante en las redes neuronales profundas en el futuro. Una cosa convincente sobre las redes neuronales profundas es que a menudo obtienes mejores resultados al componerlas juntas. Entonces, ¿por qué no lanzar una etapa de cápsula para la extracción de la función de pose allí mientras lo hace?

Notas al pie

[1] Comprender las redes de cápsulas de Hinton. Parte I: Intuición.

[2] https://openreview.net/pdf?id=HJ …

[3] Atacar el aprendizaje automático con ejemplos adversos

Voy a decir que no, en base a la evidencia que tenemos hasta ahora.

Los propios documentos son intentos fallidos que no pueden enfrentarse empíricamente a las CNN; y eso también después de casi dos décadas de trabajo [0] que el profesor Hinton ha hecho en cápsulas.

¿Es la arquitectura más bonita y más razonable que las CNN? Tal vez.

Pero si nos fijamos en el historial de aprendizaje automático, no siempre son los modelos más bonitos los que ganan.

Además, si estas nuevas “neuronas” llamadas Cápsulas son las que te gustan, ¿por qué no prestar atención a las neuronas más elaboradas que Jeff Hawkins (Numenta) y otros han estado proponiendo [1].

Alternativamente, si está más impresionado con los comentarios iterativos, ¿por qué no prestar atención a [2], que es elegante y empíricamente fructífero en problemas del mundo real.

Ambas alternativas agregan empíricamente algo al estado de la técnica, mientras que Capsule Networks no nos da nada más que reclamos vacíos.

[0] http://papers.nips.cc/paper/1710 …

[1] Una teoría de cómo las columnas en la neocorteza permiten aprender la estructura del mundo

[2] [1612.09508] Redes de retroalimentación

NOTA: He actualizado esta publicación con una corrección / aclaración. Originalmente dije que “Cápsulas” es completamente localista, específicamente, que es localista en dos niveles: a) en el nivel de las cápsulas mismas; y b) dentro de una cápsula individual. Lo primero es cierto. Los autores afirman en muchos lugares que las cápsulas individuales representan objetos particulares. Sin embargo, esto último no es estrictamente cierto, aunque puede ser efectivamente cierto en la práctica. Más específicamente, las ecuaciones 1–4 del modelo no obligan a las unidades individuales en una cápsula a aprender a representar dimensiones individuales de variación (variables latentes). Sin embargo, su discusión general y, en particular, la sección 5.1 y la Figura 4, sugieren que los vars latentes individuales tienden a correlacionarse con unidades individuales. Quizás, la dinámica de aprendizaje asintóticamente (es decir, a medida que crece el número de muestras de entrenamiento) produzca representaciones localistas puras en cápsulas. Finalmente, aunque es cierto que en la Figura 4, algunas unidades representan múltiples características, por ejemplo, “Escala y espesor”, que no es en sí mismo, evidencia de una representación verdaderamente distribuida. Para demostrar completamente el funcionamiento de una representación distribuida, los autores también necesitarían mostrar instancias en las que los diferentes valores de una sola variable latente, por ejemplo, “Grosor del trazo”, estuvieran representados por diferentes patrones de actividad en subconjuntos que consisten en dos o más de Las unidades de cápsulas . Sin tal evidencia, uno no puede concluir que las cápsulas son efectivamente una representación distribuida y, por lo tanto, que disfruta de la ventaja exponencial de eficiencia computacional de las representaciones distribuidas sobre el localismo.

—- Poste original (modificado a la luz de lo anterior) ——

No, porque “Cápsulas” es efectivamente un modelo localista. En la sección de discusión del artículo reciente de Capsules, los autores argumentan que Capsules aborda la ineficiencia exponencial de la representación uno de n, es decir, el localismo. Esto no se demuestra en el documento. Los autores afirman directamente que una cápsula individual representa (es decir, representa como resultado de un proceso de aprendizaje) un objeto en particular. Así, las cápsulas mismas constituyen una representación localista de los objetos. Además, como se describe en la Sección 5.1 del documento, las unidades individuales de una cápsula a menudo representan dimensiones (características) individuales del objeto, como para 4 de las 6 unidades en la Figura 4. Hasta el grado en que las características individuales (variables latentes ) están representados por unidades individuales, la ineficiencia exponencial del localismo afectará la capacidad y el funcionamiento del modelo. Este ensayo de blog proporciona más detalles sobre la ventaja computacional exponencial de la distribución.

En Cápsulas, en principio, cada unidad de una cápsula participa en la representación de cada instancia del objeto que representa esa cápsula. Por ejemplo (y suponiendo que la representación dentro de la cápsula sea localista), una cápsula representaría los conceptos, y , con el mismo conjunto de activos unidades, pero donde la unidad individual que representa la “habilidad de caza” tiene una alta activación en la primera y una baja activación en la segunda. Este es un código de composición pero no un código distribuido (vea la publicación relacionada sobre la combinación de composicionalidad con distribución). Si bien la composicionalidad, en particular aplicada recursivamente en múltiples niveles jerárquicos, es esencial para la inteligencia, es cualitativamente diferente de la distribución.

También creo que la elección de tener la longitud del vector de actividad sobre las unidades de la cápsula representa la probabilidad de la presencia de un objeto y el patrón de actividad del vector representa los valores particulares de las características es tenso (como también se argumenta en este papel). Hay una mejor manera de representar simultáneamente el contenido de un concepto particular (es decir, la configuración de las características que lo describen) y la probabilidad del concepto. Específicamente, es usar una representación distribuida dispersa (SDR), en la que cualquier concepto dado está representado por un pequeño subconjunto de unidades binarias activas elegidas de un campo de codificación mucho más grande. Describí este enfoque, Sparsey, en varios artículos, más recientemente en “Una teoría radicalmente nueva de cómo el cerebro representa y calcula con probabilidades”. Un campo de codificación Sparsey es un conjunto de módulos competitivos (CM) Q WTA, cada uno de los cuales consta de K unidades. Cualquier objeto (concepto) dado está representado por un conjunto de ganadores Q, uno por CM. Por lo tanto, el espacio de representación es K ^ Q. Y, todos los códigos tienen la misma longitud. En Sparsey, la probabilidad de que esté presente un representante, es decir, un elemento de entrada previamente almacenado, A, se representa simplemente por el tamaño de intersección del código SDR de A y el SDR actualmente activo. Y, todas las probabilidades de los elementos almacenados previamente se representan simultáneamente de esta manera, en superposición. Y, no hay problema en representar una gran cantidad de instancias específicas de un concepto dado porque el tamaño del espacio de representación, K ^ Q, es muy grande. Entonces, con respecto al ejemplo anterior, un campo de codificación Sparsey representaría y como dos conjuntos diferentes (aunque superpuestos) de unidades activas.

Por otro lado, es bastante importante que el tamaño del código, Q, se aplique estáticamente , es decir, por la arquitectura, ya que significa que el modelo no requiere computación para imponer la dispersión , como por ejemplo en Capsules y, que yo sepa, todas las instancias de “codificación dispersa”, en la que la penalización por dispersión es parte de la función objetivo (ver página relacionada).

Voy a decir que sí a largo plazo, porque la idea es una de las direcciones obvias donde Deep Learning se queda corto. Realmente necesitamos abordar el problema de que no codificamos nuestro conocimiento previo sobre la invariancia de puntos de vista en las redes. El otro problema obvio es automatizar el diseño de la arquitectura de una manera rápida y confiable en mi opinión.

Sin embargo, dudo que las cápsulas lo hagan en sus implementaciones actuales. Creo que tenemos que encontrar una implementación basada en principios en el sentido de una función de costos bien definida y gradientes bien definidos. También tiene que ser lo suficientemente fácil para ser incorporado como estándar.

Recientemente examiné los dos documentos en profundidad. Descubrí que “El enrutamiento dinámico entre cápsulas” está estrechamente relacionado con métodos débilmente supervisados ​​como “¿La localización de objetos es gratuita?”. Extienden esto a múltiples etapas y proporcionan un mecanismo interesante para guiar la atención. Sin embargo, este mecanismo no está formulado en términos de una función de pérdida y propagación hacia atrás.

Si bien esta es claramente una primera forma interesante de implementar cápsulas, se queda corta en la sección de principios. El segundo artículo “Matrix capsules with EM routing” mejora esto. Sin embargo, ahora tenemos un problema de modelo de mezcla gaussiana en cada capa en cada iteración. Esto se queda corto en la sección “fácil”, porque tenemos que resolver múltiples problemas de Machine Learning en cada iteración. Aún así, creo que este es un método emocionante y me gustaría experimentar con él.

Entonces, en total, creo que esta es una de las direcciones de investigación más importantes e interesantes que en Deep Learning en este momento. Pero no podemos esperar que surja directamente la mejor implementación de esta idea.

Estoy de acuerdo con Travis, la mejor pregunta aquí sería “¿Las redes de cápsulas reemplazarán a las Redes neuronales convolucionales (CNN)?” La respuesta es “Sí”, ¡a largo plazo lo hará!

La red de cápsulas se introdujo porque había varias limitaciones con las redes neuronales convolucionales (CNN).

CNN es bueno para detectar características, pero activará erróneamente la neurona para la detección de rostros. Esto se debe a que es menos efectivo para explorar las relaciones espaciales entre entidades.

Bueno, esta limitación se debe a la capa Max Pooling.

La agrupación máxima en un CNN maneja la varianza traslacional. Incluso una característica se mueve ligeramente, si todavía está dentro de la ventana de agrupación, todavía se puede detectar.

Geoffrey Hinton presentó Capsule , un conjunto de capas neurales anidadas. En lugar de capturar una característica con una variante específica, una cápsula está entrenada para capturar la probabilidad de una característica y su variante. Por lo tanto, el propósito de la cápsula no es solo detectar una característica sino también entrenar al modelo para que aprenda la variante.

Para comprender más sobre cómo funciona la red neuronal de la cápsula, lea este blog: Redes de la cápsula | Conjunto de capas neuronales anidadas | Edureka

Mejorarán y espero que pueda revivir el mundo de la gramática de los árboles de análisis.

Si es así, podrían reemplazar los modelos existentes de redes neuronales artificiales.

Daré una explicación detallada en mi próximo webcast sobre tres cosas:

1. por qué las CNN están luchando y dónde,
2. por qué CapsNET es mejor y dónde hay margen para mejorarlos, y finalmente
3. ¡Nuestra (la mía y otra geek apasionada de China) avanzó la biblioteca CapsLayer donde tenemos la intención de mejorarla en los próximos meses!

Aquí está el enlace del webcast: Cápsulas de redes: ¿una bendición para el aprendizaje profundo o la distracción?

A mi modo de ver, las redes de cápsulas son redes neuronales. Simplemente son un nuevo modelo específico para la visión por computadora, una variación de los modelos convolucionales.

Recuerde que las redes neuronales no son un modelo específico, sino toda una clase de modelos.

Las redes de cápsulas son un tipo de red neuronal. Supongo que quisiste decir si la red de cápsulas reemplazará a las redes neuronales convolucionales.

Diría que con seguridad las CNN serán reemplazadas por otra cosa. Tienen muchos problemas Las redes de cápsulas parecen ser un buen candidato para ser un reemplazo, pero aún hay más investigación por delante.

Ahora mismo no. CN tiene un gran problema: el aprendizaje muy lento, lo que los hace muy malos para resolver tareas reales. Entonces, hasta que no haya un mejor algoritmo de aprendizaje, no.

Todavía no, todavía tienen trabajo por hacer. Son computacionalmente intensivos, más que los cnns convencionales. Pero a largo plazo sí lo harán

¿Hay alguna prueba en el documento? ¿Alguna teoría profunda? ¿Alguna explicación teórica de por qué podrían funcionar correctamente? No, entonces hay un largo camino por recorrer.