¿Las implementaciones físicas de las redes neuronales son claramente preferibles a las GPU?

Algunas cosas primero. El proyecto SyNAPSE es un poco más que una simple red neuronal. Una mejor palabra para esto sería computación cognitiva. Las redes neuronales artificiales no intentan modelar el cerebro de una manera neurocientíficamente precisa. Simplemente están empleando parte de la estructura de los cerebros para crear mejores algoritmos para los problemas de IA.

Independientemente de si se trata de computación cognitiva o de ANN, el hardware de propósito especial siempre será mejor. Las GPU son dispositivos de propósito especial para hacer procesamiento de gráficos. Hoy en día tenemos GPGPU como Teslas y otros que facilitan algunas cosas para la computación científica, pero no siempre es el mejor caso para la estructura de un problema simplemente porque su problema emplea un poco de álgebra lineal. Se necesita mucho trabajo para crear códigos numéricos que usen la arquitectura de memoria correctamente, minimizando la comunicación, minimizando la transferencia de datos a través del bus GPU-CPU, etc.

El problema es que crear un hardware de propósito especial le costaría millones de dólares, y puede que ni siquiera valga la pena. (Tal vez alguien como Quora User o Dan Zhang pueda comentar más sobre el proceso de construcción de nuevo hardware desde cero). Existen varios tipos diferentes de redes neuronales y tendrá que proporcionar una aceleración para todos ellos. Además de eso, hay diferentes maneras de “resolver” estas redes, y puede haber nuevos (y mejores) métodos en el futuro que su hardware no podría haber tenido en cuenta.

Entonces tienes que pensar en la practicidad de la misma. ¿Quién va a financiar esta empresa? Ciertamente, alguna empresa o institución con mucho dinero, pero definitivamente querrán recuperar ese dinero de alguna manera. Ahora pregunte, ¿cuántas personas en el mundo usan redes neuronales para sus problemas? Entonces, ¿cuántos de ellos están dispuestos a comprar hardware para fines especiales solo para hacerlo (esto dependerá de la velocidad que les esté dando, que probablemente será menos cuanto más general intente hacer su arquitectura)? Si decide abordar un tipo de red más específico (por ejemplo, feed-forward, ya que parece ser el más popular), obtendrá un grupo aún más pequeño de clientes. Finalmente, ¿qué tan barato puede hacerlo para que les valga la pena? Muchas preguntas que necesitan ser respondidas.

Entonces la respuesta es sí, pero a un gran costo.