Si Intel o AMD recibieran el mismo presupuesto que una supercomputadora de alta gama y lo usaran para hacer una CPU, ¿qué tan poderosos podrían hacerlo? (No necesitan hacer toneladas, solo una)

Tienes las economías de escala al revés.

El Bugatti Veyron costó alrededor de $ 1.5M USD cuando se introdujo. Eso lo hizo aproximadamente 100 veces más caro que, por ejemplo, un Volkswagen Golf. ¿Era 100 veces el automóvil, en comparación con el VW Golf? No, no lo fue. En el mejor de los casos, era tal vez 10 veces el auto, y eso probablemente lo está empujando. Además, incluso con su precio escandaloso, todavía perdió dinero para VW.

¿Por qué? Porque sus costos de desarrollo se amortizaron en una producción muy pequeña. Estamos a punto de tener el mismo problema con nuestro hipotético superchip.

Elija un buen número redondo de $ 100 millones para nuestro presupuesto de desarrollo para este procesador único y rápido. Eso se basa en el costo de la supercomputadora Titan, que elegí lanzando un dardo metafórico en el top 10 actual de la lista TOP500. Según Wikipedia, el Titán costaba $ 60 millones por adelantado, pero el costo total del contrato con Cray era de $ 97 millones. Redondee eso a $ 100M y llame a eso nuestro presupuesto para este ejercicio.

Su conjunto de máscaras por sí solo probablemente será de $ 5M, o más, si está en un nodo de tecnología de punta. Con lo que queda, podría financiar alrededor de 90 ingenieros durante 2 o 3 años (asumiendo los salarios de Silicon Valley), lo que tal vez sea adecuado para un chip de esta magnitud. Incluso podría estar en el lado alto; sin embargo, los desafíos esperan!

Para aprovechar al máximo su dinero, adopta un enfoque pragmático. Comienzas con un diseño existente e intentas impulsarlo: pones muchos núcleos en un dado, lo modificas con técnicas de diseño exóticas y tal vez arrojas algunas características por la borda que no necesitas en una supercomputadora. También incluye algunas características de las que solo una supercomputadora realmente se beneficia.

El resultado probablemente termina pareciéndose a un Xeon Phi, tal vez a una velocidad de reloj más alta. Tal vez tiene algunos motores de aceleración de multiplicación matricial (y algunos HBM para alimentarlo) para el trabajo duro real, por lo que duplica el rendimiento en BLAS por procesador.

Para ingresar al territorio TOP500, aún necesita construir bastidor tras bastidor de procesadores, con grandes cantidades de memoria y disco que lo alimentan. Debe hacerlo de esta manera para obtener el ancho de banda y la capacidad de almacenamiento. Supera el presupuesto porque resulta que el rendimiento de la ficha es del 5%, y las fichas tienen errores como diablos. Construir tableros completamente funcionales resulta ser una pesadilla.

Al final, has gastado todo tu capital (y algo más), y tienes una supercomputadora escamosa que no es particularmente especial. Y, no hay flujo continuo de ingresos más allá del presupuesto de investigación original.

Bueno, ¡eso parece un resultado bastante aburrido! (O tal vez “emocionante, pero por las peores razones”).

¿Cómo es que nuestros supercomputadores übermensches no pudieron volar las CPU de escritorio completamente fuera del agua?

Esas CPU de escritorio en realidad tienen una cantidad mucho mayor de fondos para su desarrollo, gracias a los muchos millones de unidades que salen por la puerta. Y, como están produciendo millones de unidades, pueden ajustar los fabs para exprimir la última caída del rendimiento y el rendimiento.

Los ingresos de Intel para 2016 fueron de $ 60 mil millones de dólares, gran parte de los cuales provienen de procesadores de escritorio y portátiles. Los $ 100 millones que me diste para gastar en este superprocesador mágico se sienten como una miseria en comparación con esos $ 60 mil millones. Incluso si solo gastaron $ 1B en el desarrollo del procesador, y gastan los otros $ 59B en anuncios con personas bailando en trajes de conejito, eso sigue siendo 10 veces más que los dólares de desarrollo.

Matemáticas similares se aplican al lado de la GPU.

Ahora, dicho todo esto, $ 100 millones podrían terminar produciendo un procesador bastante interesante para aplicaciones de supercomputación. Es un presupuesto de desarrollo muy saludable para un procesador. Pero no tratarías de hacer un solo chip súper rápido. Probablemente te concentrarías en algo que podría implementar cálculos vectoriales energéticamente eficientes, y enfocarte en escalar eso. Incluso podría ser mejor hacer esto como una startup, para evitar que la administración se entrometa demasiado, como forzarlo a usar el mismo ISA que los productos principales, y podría ejecutar la operación con muy poco dinero. Si sigue esa ruta, es posible que desee encontrar alguna aplicación integrada de pan y mantequilla que también le guste su enfoque, para mantener las luces encendidas. No es como si la gente construyera nuevas supercomputadoras todos los días.

Estoy seguro de que el usuario de Quora podría contarle todo sobre cómo los límites de energía afectan el verdadero rendimiento de las supercomputadoras. (Y esa búsqueda que vinculé lo ayudará a comenzar). No se trata solo de qué tan rápido puede hacer un procesador; más bien, es cuánto trabajo útil puede realizar dentro de su presupuesto de energía.


Ediciones : Se corrigió el número de costo de la máscara. Eso fue un brainfart.

Bastante débil

Intel y AMD gastan considerablemente más en sus procesadores que cualquier compañía o incluso el gobierno de los Estados Unidos gasta en la construcción de supercomputadoras. Intel gastó $ 12.1 mil millones en el año fiscal 2016 en I + D. Por supuesto, no solo están construyendo una sola CPU, sino que trabajan en tres generaciones al mismo tiempo, tal vez trabajando en la próxima generación de IC fab, trabajando en arquitecturas de CPU avanzadas, etc.

Incluso sin el fabuloso, hay un alto gasto. Qualcomm invirtió $ 5.1 mil millones en gastos de investigación y desarrollo durante el año fiscal 2016, repartidos entre CPU, GPU y radios con seguridad. Nvidia gastó $ 1.5 mil millones, AMD gastó alrededor de $ 1 mil millones.

Y claro, estas compañías a menudo están refinando arquitecturas existentes, así como creando otras nuevas. Pero lo mismo es cierto para las empresas de supercomputación. Mira un par de contratos de Cray. Han tenido algunas nuevas supercomputadoras en los últimos años con contratos que varían de $ 90 millones a $ 130 millones para desarrollar una versión mucho más rápida de algún sistema existente. Eso es realmente bastante comprensible cuando miras el diseño de una supercomputadora moderna.

La parte “super” es realmente la red y el software. Están utilizando CPU estándar, GPU estándar, otras partes similares … uno de los sistemas Cray está utilizando procesadores Intel PHI. ¿Por qué? Porque se necesitan alrededor de $ 150 millones solo para hacer una nueva CPU o GPU en un proceso moderno FinFET. Y si lo hiciste, aún no tienes una supercomputadora completa. Por lo tanto, la gente de la supercomputadora se preocupa por los recursos específicos que se le dan a cada CPU o GPU, y luego a la mejor manera de obtener 2048 o 4096 o la cantidad de ellos involucrados para comunicarse entre sí. Eso es bastante trabajo para ellos.

De modo que ~ $ 100 millones no es suficiente para hacer un procesador de vanguardia basado en mejoras a una arquitectura existente, y mucho menos en una arquitectura completamente nueva. Y no es como si alguien se estuviera frenando. Así como las arquitecturas de la supercomputadora son lo suficientemente flexibles como para crecer a un mayor número de CPU y GPU si alguien hace un pedido de una bestia más grande, también lo son las unidades de procesamiento central de CPU y GPU. Especialmente en las GPU, existen múltiples niveles de jerarquía, que sirven para mantener el sistema modular pero también lo suficientemente sensato como para diseñarlo. Hay 15 mil millones de transistores en una GPU Nvidia Pascal … nadie los rastrea individualmente.

Y cuando estás haciendo un chip, no hay forma de que estés haciendo uno solo. Claro, para proyectos muy pequeños es posible que pueda “aprovechar” a alguien que hace una sola oblea con un montón de diseños de gama baja y únicos. Pero ese no será un proceso de vanguardia, es principalmente para las universidades y tal vez la prueba de concepto de inicio ocasional. Para cuando tenga las máscaras para ese nuevo diseño FinFET de 14nm o 10nm, ya habrá disparado su fajo en efectivo. Claro, el empaque y las pruebas también cuestan un poco, pero así es como va a obtener el dinero para construir el próximo. Cuando esa primera oblea sale de la línea de producción y se empaqueta y se prueba, está en su punto más bajo financiero para ese proyecto. Asumiendo que el diseño funciona, de todos modos.

¿Solo uno? Estas son compañías que hacen circuitos integrados (chips), donde el ethos operativo es “el primero es un millón, el siguiente es un centavo”.

Por esa razón, además del hecho de que sus presupuestos de desarrollo probablemente ya estén muy cerca de los de una “supercomputadora de alta gama”, no tienen interés en diseñar una computadora enormemente poderosa y no están preparados para hacerlo. Después de todo, están en el negocio para ganar dinero, y el dinero no llega hasta que se envían grandes cantidades de chips.

Las compañías de chips como estas han estado dando vueltas durante una década o más tratando de diseñar los chips de procesador de 64 bits que dan valor a los clientes, hasta ahora no han logrado avanzar.