¿Por qué el hardware AI requiere tanta potencia de GPU?

Realmente no. Lo que requiere es potencia computacional: hay un montón de operaciones individualmente simples pero colectivamente complejas que deben realizarse para entrenar y mantener una IA.

La razón por la que muchos programas hacen uso de GPU discretas de alta gama es porque tienden a usar una arquitectura para sus diseños de chips destinados a optimizar su rendimiento de tareas como esa (ya que la representación gráfica es muy similar en muchos aspectos) una gran cantidad de núcleos pequeños y menos potentes, todos trabajando en paralelo entre sí en un solo problema. Dado que el tipo de IA que funciona con las GPU está compuesto por una gran cantidad de neuronas algo independientes que solo tienen que realizar una o dos operaciones en los datos que se les suministran, es fácil asignar un lote a cada núcleo y esperar hasta que ‘ Todo listo para procesar la siguiente capa.

Las CPU, por el contrario, tienden a centrarse en tener menos núcleos que son individualmente mucho más potentes, lo que los hace más adecuados para tareas en las que dividir el trabajo en una tonelada de componentes pequeños no es una opción viable. Entonces, si bien pueden hacerlo, solo tiene aproximadamente 8 núcleos para dividir el trabajo y está utilizando una pequeña fracción de su potencia disponible para cada operación, por lo que es inherentemente menos eficiente.

Debido a que los procesadores convencionales NO pueden manejar grandes cantidades de datos y cómputos como las GPU.

La razón es la misma por la cual los jugadores necesitan una mejor computadora (con una GPU) para jugar juegos con buenos gráficos.