Geoffrey Hinton está trabajando en algo llamado “Teoría de las cápsulas”.
Primero necesitamos entender qué está mal con las CNN. En estas diapositivas de la Universidad de Toronto, Hinton et al. argumentan que las Redes Convolucionales están condenadas por las siguientes razones:
- El submuestreo pierde las relaciones espaciales precisas entre las partes de nivel superior, como la nariz y la boca. Las relaciones espaciales precisas son necesarias para el reconocimiento de identidad
- Pero la superposición de los grupos de submuestreo mitiga esto.
- No pueden extrapolar su comprensión de las relaciones geométricas a puntos de vista radicalmente nuevos.
Luego, al final, mencionan cómo las cápsulas pueden abordar estos problemas
- ¿Qué son las redes amplias?
- ¿Qué significa end to end en los métodos de aprendizaje profundo?
- Cómo automatizar la selección de características en un conjunto de datos que involucra muchos datos no numéricos
- ¿El aprendizaje no supervisado es la clave de la inteligencia artificial general?
- ¿Cuánto tiempo le lleva a un programador experimentado aprender el aprendizaje automático?
En su artículo Transforming Auto-encoders, Hinton et al. escriba sobre el concepto de cápsulas en la sección de introducción:
Este artículo argumenta que las redes neuronales convolucionales están equivocadas en lo que están tratando de lograr. En lugar de apuntar a la invariancia del punto de vista en las actividades de “neuronas” que usan una salida escalar única para resumir las actividades de un grupo local de detectores de características replicadas, las redes neuronales artificiales deberían usar “cápsulas” locales que realizan algunos cálculos internos bastante complicados en sus entradas y luego encapsulan los resultados de estos cálculos en un pequeño vector de salidas altamente informativas.
Luego explican directamente que las cápsulas son “una manera simple de reconocer a todos al reconocer sus partes”.
Le recomiendo que lea el periódico.
También hay este video donde Hinton explica más su opinión sobre lo que está mal con la red neuronal convolucional:
Finalmente, Andrew Ng hizo una serie de conversaciones con “héroes del aprendizaje profundo” y, por supuesto, hay una entrevista con Hinton. Es una entrevista muy agradable y también una breve mención de la teoría de las cápsulas en la que está trabajando actualmente.
Todavía no se ha publicado nada, pero esperamos que estos enlaces le brinden una alternativa potencial para las CNN
