Una dificultad clave en la computación paralela es que debe realizarse en un espacio físico, donde
- Los elementos informáticos paralelos (servidores blade, CPU, núcleos de CPU, puertas lógicas, lo que sea) tienen tamaños distintos de cero.
- La velocidad de comunicación entre elementos informáticos es limitada (por la velocidad de la luz, y generalmente algo más pequeño).
- El espacio físico tiene solo [matemáticas] d [/ matemáticas] = 2 o 3 dimensiones.
Estos tres supuestos implican que el tiempo de ejecución paralelo será al menos la raíz [math] d [/ math] -th del tiempo de ejecución secuencial. En particular, las aceleraciones exponenciales reclamadas en libros y cursos para la multiplicación de matrices y otros problemas “fáciles” son imposibles. Puede encontrar más detalles y límites adicionales basados en E / S en este documento de 4 páginas
- David C. Fisher: Tus algoritmos paralelos favoritos podrían no ser tan rápidos como crees. IEEE Trans. Computadoras 37 (2): 211-213 (1988)
Sorprendentemente, pocas personas entienden el impacto de las restricciones físicas en la computación paralela, a pesar de que estas restricciones se están volviendo más significativas con cada nueva generación de tecnología. En particular, si toma un ciclo de reloj de una CPU (lenta) de 1 GHz, eso le daría 1ns. La luz solo puede viajar 1 pie durante este tiempo, pero eso está en el vacío. En un chip de silicio con cables de cobre, ahora es imposible que la señal cruce el chip (incluso la mitad) en un ciclo de reloj.
- ¿Por qué el PageRank es muy alto para los nodos en un gráfico con indegree cero?
- ¿Cuál es la mejor manera de leer documentos de investigación de CS?
- ¿Cuáles son los documentos más influyentes en el mundo de SDN (Software Defined Networking)?
- ¿Cómo es un día típico para un investigador informático?
- ¿Me pueden ayudar a decidir si debo obtener un doctorado en informática teórica?
Si la interconexión domina o no su aplicación particular, depende de la aplicación, los algoritmos, el hardware y la organización espacial de las unidades paralelas. Los servidores rápidos encargados de la reducción de números pueden no necesitar mucha comunicación y pueden ignorar el espacio físico. Por ejemplo, si está utilizando una búsqueda exhaustiva para descifrar una contraseña, puede enviar mensajes de operador entre los servidores 🙂
Existen otros límites para la computación paralela que la mayoría de las personas simplemente desconocen, como la completitud P de ciertos problemas combinatorios. Estos no dependen de la velocidad de interconexión, pero son específicos del problema.
Ver la reseña de este libro que escribí recientemente
http://web.eecs.umich.edu/~imark…
En cuanto al brillante futuro de la computación paralela, solo será parte de la caja de herramientas de ingeniería de todos. La magia en la computación paralela es algo exagerada.
