Una desventaja principal de las GPU es que no está diseñada para el aprendizaje profundo, sino que está diseñada originalmente para implementar tuberías de gráficos. Como el aprendizaje profundo también alinea el mismo tipo de cálculo (multiplicaciones matriciales), las GPU se usaron para el aprendizaje profundo.
La siguiente gran novedad después de las GPU son la TPU (Unidad de procesamiento de tensor) de Google:
En lugar de estar estrechamente integrado con una CPU, para reducir las posibilidades de retrasar la implementación, la TPU fue diseñada para ser un coprocesador en el bus de E / S PCIe, lo que le permite conectarse a los servidores existentes tal como lo hace una GPU. Además, para simplificar el diseño y la depuración del hardware, el servidor host envía instrucciones de TPU para que se ejecute en lugar de buscarlas él mismo. Por lo tanto, el TPU está más cerca en espíritu de un coprocesador FPU (unidad de punto flotante) que de un GPU.
- ¿Qué es una explicación intuitiva del impulso en el entrenamiento de redes neuronales?
- ¿Cuántas imágenes necesito para entrenar una red neuronal convolucional?
- ¿Por qué los modelos gráficos probabilísticos tienen un rendimiento inferior en las tareas de clasificación en comparación con las redes neuronales o las máquinas de vectores de soporte?
- ¿Cuántas muestras de entrenamiento se necesitan para obtener un modelo confiable en ML?
- Estoy acostumbrado a codificar con C ++ y C #. ¿Cuál recomendaría implementar proyectos de ML a pequeña escala (NN y CNN clásicos) sin reinventar la rueda?
Ventaja de TPU sobre GPU:
- En las cargas de trabajo de AI de producción que utilizan la inferencia de redes neuronales, la TPU es de 15x a 30x más rápida que las GPU y CPU contemporáneas.
- El TPU también logra una eficiencia energética mucho mejor que los chips convencionales, logrando una mejora de 30x a 80x en la medición TOPS / Watt (operaciones tera [billones o 10 ^ 12 operaciones] de cómputo por vatio de energía consumida).
- Las redes neuronales que alimentan estas aplicaciones requieren una cantidad sorprendentemente pequeña de código: solo de 100 a 1500 líneas de código TensorFlow.
Google:
La necesidad de TPU realmente surgió hace aproximadamente seis años, cuando comenzamos a usar modelos de aprendizaje profundo computacionalmente costosos en más y más lugares a través de nuestros productos. El gasto computacional de usar estos modelos nos tenía preocupados. Si consideramos un escenario en el que las personas usan la búsqueda por voz de Google durante solo tres minutos al día y ejecutamos redes neuronales profundas para nuestro sistema de reconocimiento de voz en las unidades de procesamiento que estábamos usando, ¡habríamos tenido que duplicar la cantidad de centros de datos de Google!
Los TPU están detrás de cada consulta de búsqueda; potencian modelos de visión precisos que subyacen a productos como Google Image Search, Google Photos y la API de Google Cloud Vision; apuntalan las innovadoras mejoras de calidad que Google Translate lanzó el año pasado.
… y fueron fundamentales en la victoria de Google DeepMind sobre Lee Sedol, la primera instancia de una computadora que derrotó a un campeón mundial en el antiguo juego de Go.
