¿Se puede hacer una súper computadora con solo conectar PC con cables cruzados ethernet?

Una supercomputadora debe tener dos propiedades:

  1. Puede manejar problemas más grandes que una computadora ordinaria
  2. El rendimiento puede escalar a medida que aumenta el presupuesto

Incluso algunas PC unidas tienen posiblemente esa primera propiedad. Sin embargo, la ampliación significaría permitir la interconexión de un número razonablemente grande de PC.

No es práctico tener más de cinco interfaces Ethernet en cada PC, por lo que la pregunta es “¿cuántas máquinas puede interconectar?” Bueno, si literalmente conecta cada PC a cualquier otra PC , tiene lo que llamamos una red directa o totalmente conectada … y las cinco interfaces por máquina significarían escalar a no más de seis PC:

En febrero de 1994, cuando mi grupo de investigación construyó la primera supercomputadora de clúster de PC Linux del mundo, cuatro PC conectadas por Ethernet realmente calificaron como una supercomputadora paralela. Sin embargo, ha pasado mucho tiempo desde que cuatro (o incluso seis) PC se escalaron lo suficiente como para justificar llamar a un sistema una supercomputadora .

Por supuesto, hay otras topologías (patrones de cableado) que se pueden escalar usando solo unas pocas interfaces por PC y cables cruzados. Por ejemplo, una malla toroidal 1D , un anillo , puede escalar para conectar muchas máquinas:

El problema es que obtendrá un rendimiento pésimo porque se necesitan varios saltos para pasar de una máquina a la mayoría de las demás y el tráfico entre varios pares tendría que compartir muchas de las mismas rutas de cable. Técnicamente, tendría una alta latencia (demora para enviar un mensaje) y un ancho de banda de bisección bajo (ancho de banda entre pares de PC cuando todas las PC se comunican). Puede hacerlo mejor con una topología como una malla 2D :

El problema con estas topologías de solo cable cruzado es que el ancho de banda de latencia y bisección aún no es muy bueno a medida que escala a sistemas más grandes.

Por lo tanto, la respuesta moderna es usar interruptores para construir su topología de red. Un interruptor permite que todas las máquinas conectadas a él hablen simultáneamente con una latencia mínima y un ancho de banda de bisección alto. El gran número de puertos en un conmutador significa que se pueden construir topologías que pueden cubrir un número mucho mayor de PC con baja latencia y ancho de banda de bisección alto.

Son posibles muchas topologías de red de conmutador. Por ejemplo, aquí hay una pequeña Red de vecindad plana (FNN) que puede vincular ocho PC usando solo tres interfaces por PC y conmutadores con solo cuatro puertos cada uno:

El uso de este tipo de red con conmutadores Ethernet básicos (que comúnmente tienen 32 o más puertos cada uno) permite escalar al menos a cientos de PC y al mismo tiempo ofrece un ancho de banda de bisección muy alto y una latencia de solo un salto de conmutador entre cualquier par de PC. Otras topologías, como las redes de vecindad planas dispersas (SFNN) permiten escalar a miles de PC mientras mantienen un rendimiento de red similar. Por ejemplo, KASY0 fue la primera supercomputadora SFNN del mundo y utilizó conmutadores Ethernet de 24 puertos para construir una red de alto rendimiento que interconectaba 128 nodos de PC:

KASY0 era una máquina bastante grande cuando mi grupo de investigación la construyó en 2003. Las supercomputadoras más grandes ahora tienen literalmente millones de nodos … es por eso que conectar directamente seis PC ya no es realmente una supercomputación. 😉

Eso es parte de una sola fila en un centro de datos de Google.

¿Ves lo que parece un estante en cada estante de la derecha? Eso es efectivamente una PC (ok, tiene un par de cientos de gigas de RAM y más de 70 núcleos, pero sigue siendo una PC). ¿Ves los cables amarillo, azul, negro y verde? Son probablemente 10 Gigabit ethernet en esta instalación. Los cables naranjas son SAS, SCSI conectado en serie, que es lo que llama la versión de SATA para sistemas grandes; están conectando los discos duros, de los que solo puede ver algunos en los par de bastidores más cercanos.

Ahora, eso no está unido solo con cables cruzados, también hay interruptores entre esas máquinas. Puede ver algunos interruptores en la parte superior de los bastidores, son negros y tienen los mismos cables de colores. En los gabinetes negros al final de la fila (y también algunos detrás de la cámara) encontrarás algunos de estos:

Ese es un Superblock de Júpiter, estos se conectan a los interruptores de la parte superior del rack y a otros Superblocks, por eso los cables de fibra óptica de color verde pálido y amarillo pálido; esas también son Ethernet, pero versiones mucho más rápidas de esa, esa particular parece 40 Gigabit.

Entonces, sí, puede construir una supercomputadora a partir de un montón de PC conectadas entre sí con Ethernet, y ahora ya sabe cómo puede ser eso (para la gente real de HPC: hay algunas cosas funky que suceden en estos interruptores que significan que esto funciona) en realidad califica, no es Ethernet normal … pero lo siento, no puedo hablar de todos los detalles, por mucho que me encante).

Al administrar estos sistemas, tendemos a pensar en el edificio que contiene esa fila como si fuera una sola computadora. Si lo necesita, puede bajar al nivel de la máquina, y a veces eso es necesario, pero de lo contrario solo nos referimos al clúster por nombre y dejamos que el sistema operativo descubra dónde se está ejecutando realmente el trabajo al que nos referimos.

La latencia es un gran problema, lo que pasa con su idea es que desea que el procesador de un nodo procese y calcule los datos encontrados en la memoria de otro nodo y devuelva los datos modificados a ese nodo. En el tiempo que tardan los datos en llegar a un nodo y regresar después del cálculo, se podría haber realizado mucho trabajo en el nodo emisor.

0.1 milisegundos puede sonar pequeño (latencia típica de Ethernet de corta distancia), pero considere que incluso las CPU finales más pequeñas en estos días pueden hacer mil millones de ciclos por segundo (1Ghz). a menos que la latencia sea extremadamente baja, la informática distribuida es mejor que la informática en clúster.

Una cosa más a considerar, el trabajo de la CPU en ciclos, el remitente tiene que poner los datos en el cable (1 ciclo) suponiendo que no se necesitan más pasos y que todo está descargado a la NIC, el otro extremo tiene que leer los datos del cable y procesarlo (segundo ciclo), después del cálculo se debe hacer lo contrario, volver a colocarlo en el cable (tercer ciclo), leer la salida calculada del cable (cuarto ciclo) y finalmente hacer algo con la salida. entonces, en lugar de calcularlo localmente, ha desperdiciado 4 ciclos de CPU.

El enfoque más inteligente es cortar los datos que necesitan procesamiento y asignarlos por completo a cada nodo, después del cálculo, cada nodo puede informar el resultado.

busque proyectos [protegidos por correo electrónico] y mprime / prime95 que le permitan descargar su software para ayudar a calcular números y encontrar números primos de mersenne.

Aquí hay un primer rack de servidores de Google de 1999 en el Computer History Museum

Cada estante tiene cuatro placas base para PC y dos fuentes de alimentación en la parte posterior. Las placas aún tienen conectores para teclado, mouse, pantalla, etc. Las dos cajas en la parte superior del rack son conmutadores de red estándar. La puerta de atrás es una gran variedad de ventiladores.

Hay supercomputadoras y supercomputadoras, pero sí, al interconectar las CPU puedes crear una ‘supercomputadora ”

Creo que SETI utilizó PC personales interconectadas como parte de su búsqueda.

En este momento, la Universidad de Manchester en Inglaterra está construyendo una máquina con 1 millón de CPU Riscc interconectadas. Como se usa en teléfonos móviles.

Un poco de historia. Poco después de la Segunda Guerra Mundial, Gran Bretaña decidió construir una versión actualizada del sistema de defensa aérea del tiempo de guerra. Se dieron cuenta de que una computadora digital sería necesaria para descifrar los números, así que miraron a su alrededor y decidieron que el control del semáforo era lo más cercano a su requerimiento. Le dieron un contrato a una empresa que fabricaba semáforos. Produjeron una CPU basada en relés (serie de grandes bastidores refrigerados por aire) Rápidamente se hizo evidente que esto era demasiado pequeño, por lo que construyeron otro y los ejecutaron juntos. Luego un tercero y así sucesivamente hasta que hubo 20 filas de bastidores en un edificio de la mitad del tamaño de un campo de fútbol. Todos trabajando interconectados. Los posteriores usaron transistores pero básicamente el mismo diseño lógico. Super computadora ??? Uno de los principales problemas con esto fue que, como Topsy, el programa simplemente creció y se volvió muy difícil de controlar.

Vale la pena señalar que las PC modernas no necesitan un cable cruzado. la NIC detecta automáticamente y cruza internamente cuando corresponde. Puede conectar dos computadoras mediante un cable de ethernet normal y resolverán si se cruzan o no.

Sí (no estoy seguro si ese es el tipo de cable correcto). Echa un vistazo a StoneSoupercomputer (un sistema Beowulf) http://www.extremelinux.info/sto … [Conozco a los chicos que construyeron ese] y los sistemas construidos a partir de componentes de Raspberry Pi. http://www.zdnet.com/article/bui … Hay una de esas puertas a mi puerta.

Si y no. Conectar PC juntos es básicamente cómo funciona cada supercomputadora en estos días. Por otro lado, ethernet es demasiado lento para el tipo de aplicaciones para las que se utiliza una supercomputadora. Si desea conectar más de un puñado de nodos, será mejor que obtenga un conmutador que funcione con infiniband o algún otro protocolo de alta velocidad.

Ciertamente puede, pero luego debe tener en cuenta la economía

Velocidad + Tiempo de cómputo reducido + capacidad de cómputo aumentada = Supercomputadora

Su idea puede aumentar la capacidad, sin duda reducir el tiempo, pero ¿qué pasa con el costo?

A lo que se refiere su idea es esencialmente COMPUTACIÓN EN LA NUBE

mira esto

[correo electrónico protegido]

Eso describe un grupo de computadoras Beowulf. No son supercomputadoras, pero tienen una alta tasa de cómputo. En comparación con una supercomputadora, son algo más lentas, tienen un costo inicial más bajo y consumen mucha más electricidad, lo que hace que el costo operativo sea más alto. Está al alcance de un aficionado construir uno.

Clúster Beowulf – Wikipedia

Si y no.

En el fondo sí. Si vincula un montón de PC, puede obtener una supercomputadora. La Fuerza Aérea de los EE. UU. Tenía uno junto con 1760 PS3. Se llama “computación distribuida”. Muchas compañías ahora están utilizando las PC de sus empleados y los ciclos de repuesto para hacer cosas básicas del servidor.

Pero no es solo usar un montón de cables cruzados y tienes una súper computadora. Necesita un tipo de red troncal para esto y un comando central que a su vez determina qué nodo está trabajando en qué y cómo recuperarlo.

Cuando la Oficina Meteorológica Británica compró una súper computadora hace unos años, les devolvió unos increíbles £ 97,000,000. Podrías comprar bastantes PC por esa cantidad de dinero.

Sí, esta fue la solución de India cuando un embargo a las exportaciones de Estados Unidos les impidió trabajar en su programa de armas nucleares.