¿Cómo calcularía el costo de configurar un servidor 100 Tera-Flop en mi casa?

Será mejor que tengas un gran sótano. Y una cuenta bancaria aún más grande.

Busqué el servidor de montaje en rack 1U menos costoso que pude encontrar, similar a los que usamos en la construcción de clústeres en Aspen Systems, y encontré el servidor en rack Lenovo ThinkServer 70AB001VUX 1U en Newegg, por $ 1260. Agreguemos una segunda CPU a ese servidor, la actualización del procesador Lenovo Xeon E5-2420 a 1.90 GHz por $ 438, y, dado que el servidor no viene con un disco duro (que necesitará arrancar, si nada más), arrojemos un Western Digital Red WD10EFRX 1TB IntelliPower 64MB Cache SATA 6.0Gb / s 3.5 “Disco duro interno en él – solo $ 70 más. Total por un servidor: $ 1768.

Por lo que puedo ver al observar los puntos de referencia reales para esa CPU, puede obtener 5 gigaflops de uno de ellos, lo que significa que cada servidor le dará 10 gigaflops. Para 100 teraflops, necesitaría diez mil servidores, lo que elevaría la pestaña total a $ 17,680,000.

Ahora, esos son solo los servidores solos. Esto no cuenta otras cosas que va a necesitar, como:

  • Bastidores para montar los servidores. En Aspen Systems, utilizamos bastidores 42U de APC, que cuestan alrededor de $ 800 cada uno, como mínimo. Necesitarás 239 de ellos. (Cada uno de esos bastidores también tiene aproximadamente el tamaño de un refrigerador).
  • Poder. Ejecutar energía a 10,000 servidores es una tarea no trivial. Probablemente necesitará un cableado de alimentación especial. Si desea respaldo de batería, eso tampoco es trivial para tantos servidores … y esos UPS ocupan espacio en el rack, lo que significa que probablemente necesitará más racks.
  • Redes. Solo los conmutadores Ethernet le costarán algo así como $ 350 por 48 puertos, y necesitará más de 200 de esos. (Existen interruptores más grandes, pero son más caros). Y, de nuevo, ocupan espacio en el bastidor, por lo que tendrá que agregar más bastidores para el clúster completo. Y la cantidad de cable que necesitará también será un factor de costo. Un clúster como este también se beneficiaría de una tecnología de red de mayor velocidad para redes de datos, como Myrinet o Infiniband; agregue más costos para ellos, así como más bastidores (ya que usan sus propios interruptores que ocupan espacio en el bastidor). Y, por supuesto, los interruptores también requieren energía, lo que agrava sus problemas de energía.
  • Enfriamiento. El funcionamiento de todo este equipo genera una gran cantidad de calor y, a menos que tenga un sistema de aire acondicionado King Hell, ese calor se acumulará y hará que algunas partes de su encantador grupo fallen.
  • Software. Aquí hay una parte que no tiene que pagar; Los sistemas operativos adecuados para clústeres, así como las bibliotecas básicas para el procesamiento distribuido, están disponibles gratuitamente. Pero, para obtener el máximo rendimiento de su clúster, probablemente tendrá que crear de forma personalizada cualquier software que vaya a ejecutar para calcular lo que espera obtener de él. Esto requiere habilidades que no son comunes, y las personas que las tienen no son baratas. (Incluso yo no sé todos los detalles de cómo se hace eso).

Por lo tanto, no es probable que configure un grupo de ese tamaño en casa en el corto plazo.

Sin embargo, incluso con un clúster de 100 teraflop, aún no estaría en la lista de Sitios de supercomputadoras TOP500; El sistema en el # 500 en esa lista tiene un rendimiento de aproximadamente 134 teraflops. El primer sistema de la lista, el clúster Tianhe-2 en el Centro Nacional de Supercomputación en Guangzhou, China, funciona a 33,862.7 teraflops.

Interesante cobertura en respuestas ya.
En la opción build-it, algunos comentarios:

  • ciertamente no usarías E5-2420, pero probablemente algo mejor como el E5-2680v2. normalmente no se elige el modelo con el reloj más alto (porque es desproporcionadamente más caliente y más caro). Para los sitios preocupados por el poder, se puede elegir un modelo ‘L’. la mayoría de los sitios elegirán un 26xx para obtener los 4 canales de memoria completos y, de lo contrario, solo juzgarán por reloj * núcleos / precio.
  • para un clúster grande, seguramente optaría por una densidad mayor que 2s / 1u: los servidores half-u son muy comunes y efectivos.
  • ya nadie usa myrinet, aunque 10G está en uso (IB es normal). la estructura de los conmutadores es especial: normalmente un rack de nodos se conectará solo a un switch de la parte superior del rack, que tendrá casi la misma cantidad de puertos dedicados para conectarse a otros conmutadores (pares o una capa superior de conmutadores “espinales”). Aunque hay una buena cantidad de conmutadores (y MUCHOS cables), las redes consumen relativamente poca energía (probablemente menos del 10% del total)
  • muchas supercomputadoras no usan UPS, porque reducen el presupuesto y proporcionan muy poco tiempo de ejecución. Las aplicaciones de supercomputación normalmente controlan su progreso periódicamente.
  • El enfriamiento es tan esencial como la entrega de energía. figura 250-300W / nodo, y puede ver que ambos serán un desafío. más de 60 MW …
  • La cantidad de personalización de SW para un clúster grande es realmente mínima. Sí, la gente ajusta el código, pero no exclusivamente para 100tf. (en realidad, las estadísticas son muy pobres sobre cuántos trabajos de 100tf se ejecutan alguna vez …)
  • Las GPU son una forma actual de obtener mayores fracasos / vatios, pero no está claro si tienen poder de permanencia. Los defensores de la GPU normalmente hablan sobre la energía consumida por la tarjeta, pero no sobre el sistema host (todavía necesario), y a menudo informan sobre la aceleración en comparación con los núcleos individuales de las CPU host (lentas) de potencia optimizada.
  • Sin duda, alquilar es una opción, pero primero haz los cálculos. Amazon alquila una tarifa aproximadamente equivalente a la compra de hardware cada año (las supercomputadoras siempre se usan durante al menos 3 años, normalmente de 4 a 5 y, a menudo, más tiempo). Amazon es popular para la “supercomputación de acrobacias”, pero cualquiera puede hacer ciclos para reducir los gastos generales.

Puede ser más fácil de lo que piensas, si tus códigos pueden ejecutarse en GPU.

NVIDIA está reclamando un teraflop para su Tegra X1:

Tegra X1 de NVIDIA es el primer chip móvil con un teraflop de potencia

NVIDIA lanza el Tegra X1 Mobile Super Chip

De hecho, Tegra X1 tiene más potencia que la supercomputadora más rápida de hace 15 años, ASCI Red, que fue el primer sistema de teraflops del mundo. Operado durante una década por el Laboratorio Nacional Sandia del Departamento de Energía de EE. UU., ASCI Red ocupó 1,600 pies cuadrados y consumió 500,000 vatios de potencia, con otros 500,000 vatios necesarios para enfriar la habitación que ocupaba. En comparación, Tegra X1 tiene el tamaño de una miniatura y consume menos de 10 vatios de potencia. – Ver más en: NVIDIA lanza el Tegra X1 Mobile Super Chip

Entonces, 10 vatios por cada chip de teraflop multiplicado por 100 lo coloca en un kilovatio de potencia solo para los chips. Necesitará un múltiplo de eso para el resto del sistema, y ​​otro múltiplo para enfriar dependiendo de su ubicación. No va a ser barato, y la compañía de energía podría mirarlo de manera divertida y negarse a proporcionar tanta electricidad a su ubicación, etc. Pero será mucho más fácil que hace 15 años.

¿Por qué comprar cuando se puede alquilar? Amazon Web Services construyó una computadora de 500 teraflop en su infraestructura. Ver: Amazon reúne 26,496 núcleos de CPU, construye una supercomputadora Top 100

Cycle Computing “alquiló” una computadora petaflop por 18 horas por solo $ 33,000 USD,

Ver: 18 horas, $ 33K y 156,314 núcleos: Amazon cloud HPC golpea un “petaflop”