No he trabajado en Google ni sé exactamente sobre sus intereses en los HTM, pero he aquí por qué no creo que Google u otras compañías de Big Data puedan estar investigando exclusivamente en HTM a gran escala.
He trabajado un poco con HTM a través de NuPiC y he estado siguiendo su curso en el campo desde sus primeros días. HTMs o Hierarchical Temporal Memories son un modelo basado en la neurociencia de la neocorteza humana. Jeff Hawkins había compilado inicialmente amplios conocimientos de neurociencia en un solo marco. Aunque el HTM original no era muy fiel a la neurociencia, capturó la esencia de lo que estaba haciendo la neocorteza. Demuestra el poder de las arquitecturas jerárquicas que tienen la capacidad de profundizar en los datos para extraer correlaciones y estructuras internas.
Sin embargo, hay un par de problemas con el marco. Es un modelo complicado de un grupo de neuronas. Involucra múltiples algoritmos de agrupamiento (K-means y Agglomerative Hierarchical Clustering) junto con modelos de Markov en cada nodo o ‘neurona’. Esto crea un modelo que es difícil de obtener conocimientos teóricos debido a su complejidad. La presencia de un cóctel de algoritmos también lo hace relativamente costoso desde el punto de vista computacional en comparación con otras arquitecturas jerárquicas.
- ¿Por qué los modelos que funcionan mejor durante el entrenamiento dan resultados más pobres durante la implementación?
- ¿La inteligencia artificial, la teoría del compilador y los autómatas están relacionados entre sí? Si es así, ¿cómo?
- ¿Es difícil construir un simulador de planta de energía usando una enorme red neuronal artificial para fines de simulación y educación?
- ¿La inteligencia artificial se convertirá en la próxima burbuja económica en 5-10 años?
- Cómo escribir una aplicación de IA que lea todos los tipos de registros de miles de servidores, enviar de vuelta a un cerebro de análisis de ML y proporcionar respuesta a cada servidor
Por lo tanto, los HTM no pudieron causar un gran impacto en la comunidad académica, sin embargo, fue exitoso al aumentar el reconocimiento creciente del poder de las estructuras jerárquicas. Andrew Ng mencionó que se inspiró nuevamente para hacer otro intento en el problema de ‘inteligencia’. Sin embargo, luego enfocó todos sus esfuerzos de laboratorio hacia el aprendizaje profundo, que es otro paradigma que involucra estructuras jerárquicas y respaldado con mucha teoría. Podría ser justo decir que las arquitecturas de aprendizaje profundo han ganado más popularidad que los HTM u otros modelos jerárquicos como HMAX (modelo de corteza visual del MIT) debido a su poder demostrado en una serie de aplicaciones y puntos de referencia del mundo real como Imagenet. La sobrecarga computacional de los HTM también contribuyó a que no fuera tan popular.
El laboratorio de Tomaso Poggio en el MIT también intenta proporcionar una explicación teórica de por qué las arquitecturas profundas tienden a funcionar, e incluyen HTM en la lista debido a su arquitectura jerárquica. Así que, en general, las compañías de big data parecen definitivamente interesadas en arquitecturas profundas, pero los HTM podrían no hacer el corte dada su complejidad.
EDITAR: Como señaló David Ray en su respuesta, la versión de HTM de la que estoy hablando es una de las primeras versiones publicadas. Numenta era una empresa de investigación entonces. Los nuevos algoritmos de aprendizaje cortical funcionan de manera diferente y, de hecho, podrían tener versiones escalables eficientes. Mi respuesta se refiere a la aplicabilidad de la versión anterior del algoritmo a problemas escalables.
