¿Cuáles son las diferencias funcionales entre un procesador de computadora diseñado para IA (por ejemplo, Tensor / TPU) y un procesador ordinario (CPU) o GPU?

Esta no es una pregunta muy precisa, pero creo que entiendo lo que estás intentando hacer. El mayor problema con la pregunta es que la IA es un campo muy amplio con muchos algoritmos populares, y cada algoritmo tiene requisitos ligeramente diferentes para la aceleración de hardware especializada. Supongamos que solo está interesado en un algoritmo particular, por ejemplo, redes neuronales. Sin embargo, incluso dentro de las redes neuronales, existen variaciones, cada una con sus pros y sus contras y cada una con diferentes requisitos para una aceleración óptima. Por ejemplo, investigaciones recientes sugieren que es posible que pueda reducir la precisión de una sola “neurona” a un solo bit.

Ignorando todo eso, respondamos la pregunta general que está tratando de hacer, que es “¿Cuáles son las diferencias funcionales entre el hardware diseñado para acelerar un algoritmo único y un procesador ordinario?” Al igual que con todas esas respuestas, la respuesta es “ depende “. Más precisamente, existe una escala móvil: cuanto más especializado diseñe el hardware para el algoritmo particular, mayor será el rendimiento y la eficiencia energética.

Aquí está mi versión de la escala móvil, desde la más general (rendimiento más lento, peor eficiencia energética) hasta la menos general. Subir cada nivel en la escala generalmente da como resultado ~ 2x mejoras en el rendimiento y la potencia; si no le da al menos 2x, probablemente no valga la pena el esfuerzo.

1. Procesadores estándar de uso general. Estos son sus procesadores Intel y AMD estándar. Para dispositivos móviles, puede agrupar los SoC estándar de teléfonos inteligentes en esta categoría. Los procesadores de propósito general pueden ejecutar cualquier cosa razonablemente bien, pero tienen la eficiencia energética más baja.
2. SoC Especializados. Muchas empresas ahora ofrecen SoC especializados diseñados para ciertas aplicaciones, como Tilera. Los núcleos de Intel Knights Landing (Xeon Phi) también entran en esta categoría. Todavía usan procesadores de propósito general, pero están optimizados para aplicaciones altamente multiproceso, generalmente con cientos de núcleos de bajo rendimiento en lugar de menos núcleos de alto rendimiento.
3. GPGPU . Las GPU son ASIC especializadas con miles de ALU optimizadas para gráficos. La gente ha descubierto que también se pueden usar para ejecutar de manera eficiente otras aplicaciones altamente multiproceso. Sin embargo, están optimizados para gráficos primero y tienen muchos, muchos problemas (divergencia de subprocesos, divergencia de memoria).
4. SoC especializado con aceleradores de hardware especializados . Para obtener los beneficios del hardware dedicado y al mismo tiempo mantener los beneficios de los procesadores de propósito general, puede agregar un bloque de hardware dedicado a un chip estándar de varios núcleos o personalizado de varios núcleos. Esto es muy común para cosas como el cifrado, la codificación / decodificación de video y los gráficos.
5. Hardware especializado asignado a FPGA. Los FPGA se han utilizado durante décadas para la creación de prototipos de hardware o para diseños de chips de bajo volumen, pero la industria (por ejemplo, Microsoft Catapult, Amazon F1) ahora está comenzando a adoptarlos por su combinación inusual de rendimiento, eficiencia energética y programabilidad. Los FPGA permiten un desarrollo ágil (iteración rápida) de hardware y una reorientación rápida para múltiples clases de algoritmos. Además, a diferencia de un ASIC verdadero, dado que un FPGA es programable, puede desarrollar hardware que esté puramente optimizado para una sola aplicación / carga de trabajo sin tener en cuenta ninguna otra carga de trabajo. Sin embargo, el desarrollo de FPGA es mucho más difícil que el desarrollo de software.
6. ASIC especializado. Este es un chip de hardware que solo puede ejecutar una determinada clase de aplicación o una determinada aplicación. Un ASIC especializado solo puede hacer una cosa bien, pero si está bien diseñado, puede hacerlo muy bien. La sabiduría convencional afirma que los ASIC especializados ofrecen una ventaja de rendimiento 10 veces superior a los FPGA. Sin embargo, en la práctica, eso no siempre es cierto. El problema principal es que la mayoría de las empresas no son muy buenas para diseñar ASIC, especialmente si tienen una amplia gama de clientes objetivo. Estos clientes terminarán queriendo diferentes características, lo que termina aumentando la generalidad del ASIC y reduciendo el rendimiento general y la eficiencia energética.

Los diversos algoritmos de aprendizaje automático / aprendizaje profundo intentan optimizar una función, es decir, encontrar los parámetros óptimos para ajustarse mejor a los datos. Algunos métodos de optimización, por ejemplo, gradiente decente, requiere una gran computación. Estos cálculos podrían hacerse en paralelo. Por lo tanto, los requisitos principales de la arquitectura de la computadora deben ser la computación paralela masiva y no otras cosas. Por lo tanto, las GPU se usan mucho en donde 5000 núcleos podrían ejecutarse en paralelo.

Hay un par de enfoques para la computación de IA, uno hace muchos cálculos de matriz (el enfoque más estadístico) y el otro (redes neuronales) es un modelo impulsado por eventos escasamente conectado que es más probable que sea simulado que ejecutado directamente.

GP-GPU son razonablemente buenos en matemáticas de matriz. Las cosas NN parecen circuitos analógicos, y no hay mucho que se parezca arquitectónicamente, pero las GPU-GPU y FPGA pueden funcionar.

Hay empresas que trabajan en procesadores especiales, pero diría que el jurado aún no sabe qué tan buenas son.