¿Qué hace Infiniband?

Respuesta corta: envía información entre servidores en el mismo centro de datos al menos dos veces más rápido que Ethernet.

TLDR

Respuestas largas:

• ¿Cuál es la perspectiva para internet de fibra óptica en 2016?
• ¿Puedo tener velocidades de Internet más altas de lo que pago? Parece que no importa lo que haga, no puedo obtener velocidades superiores a lo que pago.
• ¿Cuál es el mejor plan de banda ancha en India para RS.700?
• ¿Qué buenos servicios de banda ancha de Internet están disponibles en el sector 15 parte 2, Gurgaon, Haryana?
• ¿Cuáles son mis opciones de proveedor de Internet en Miami Beach, más allá de AT&T, Comcast y Atlantic Broadband?

1. Agregue aproximadamente 50% al costo de construir un clúster
2. Generalmente entregan más ancho de banda por segundo que Ethernet de la misma generación. A medida que el tiempo avanzó en Ethernet, ganó más ancho de banda que las implementaciones anteriores de Infiniband. El ancho de banda es la * cantidad * de datos transmitidos por segundo. La Ethernet inicial era de 10 Mb / s en un cable compartido.
3. Entregar comunicación de baja latencia. Ethernet ha sido diseñado para que los conmutadores tomen decisiones sobre cómo reenviar paquetes. Esto los hace más inteligentes pero más lentos. Infiniband le permite al cliente saber más sobre la red para que pueda enviar paquetes al conmutador que requieran menos decisiones y que reduzcan la latencia. La latencia infiniband es como usar el envío nocturno frente al correo postal estándar en Ethernet. El Infiniband actual puede enviar un mensaje en menos de 1 microsegundo, Ethernet rara vez llega a menos de 4 microsegundos la última vez que lo verifiqué … y 7 microsegundos es bastante bueno en la mayoría de las redes ethernet.
4. Utiliza protocolos que minimizan la sobrecarga en cada extremo de la comunicación. Los paquetes IP están diseñados para ser enrutables y acomodados en una amplia variedad de redes no confiables, pero requieren mucha administración para lidiar con la pérdida de paquetes, etc. RDMA está diseñado para la velocidad en una red mucho menos diversa y más confiable para que haya menos sobrecarga. Esto reduce la “fluctuación” en los procesadores de los nodos de cómputo, ya que no están tan ocupados coordinando la transmisión de red. Esto aumenta la capacidad de cómputo porque los procesadores no esperan tanto tiempo los datos.
5. Plantas de cable. Infiniband maneja múltiples rutas entre 2 puntos sin necesidad de una configuración especial del interruptor, como grupos de agregación de enlaces, detección de bucles de enrutamiento como el protocolo Spanning Tree, etc. El resultado final es mucho más simple (pero más costoso) crear una red sin cuellos de botella entre todos los puntos finales. . Cientos o miles de nodos pueden tener tasas de transmisión completas de 100 Gb simultáneamente.

Mi memoria de ancho de banda en diferentes momentos es:

NIC Ethernet frente a HCA Infiniband

1 GbE frente a 8 Gb Infiniband (SDR = velocidad de datos única)

1 GbE vs 16 Gb Infiniband (DDR = doble velocidad de datos)

10 GbE vs 32 Gb Infiniband (QDR = velocidad de datos cuádruple)

10 GbE vs 54 Gb Infiniband (FDR = velocidad de datos cinco)

40 GbE frente a 108 Gb Infiniband (EDR = ocho velocidad de datos) * ver nota B. a continuación

Notas:

A. las tasas nominales / de comercialización de IB son más altas, generalmente incluyen gastos generales de codificación y son múltiplos de 10 anteriores y 14 a partir de FDR, por lo que SDR = 10, QDR = 40, FDR = 56, EDR = 100, etc.

B. Estoy un poco confuso con la codificación EDR pero está en ese estadio.

C. Estas son mis tasas de datos estimadas después de la sobrecarga de codificación.

D. La mayoría de las unidades de 10 GbE solo podían entregar 4 Gb de datos al cable, por lo que solo tenían 10 Gb de nombre. Las nics con capacidad de velocidad completa fueron raras durante los primeros dos años.

E. Tenga en cuenta que los puertos del conmutador Ethernet más rápidos están disponibles para la creación de redes mucho antes de que las NIC estuvieran disponibles para los servidores, por lo que estoy comparando lo que generalmente estaba disponible para cada servidor, no qué especificaciones / conmutadores estaban disponibles en cada generación.

También tenga en cuenta que mis ~ 2006 Cisco DDR switches están * todavía * en línea y superando a los modernos conmutadores de 10 GbE para lograr que la ciencia real se realice.