¿Cuáles son las ventajas / desventajas de la computación paralela en la nube, la red y el clúster?

No hay límites claros entre estos términos. En general, la nube tiende a significar IaaS / PaaS / SaaS. Una entidad organizativa proporciona una nube y puede ser multicliente. Grid es básicamente un término obsoleto que en el pasado significaba principalmente SaaS (generalmente, un contenedor multi-organizacional para ejecutar una aplicación científica particular) Cluster normalmente significa un clúster HA (para failover) o PaaS (como para HPC).
En el “paralelismo biz”, cualquier uso no trivial solo será un clúster: un conjunto local de máquinas dedicadas, generalmente homogéneas, en una red especial de alta velocidad (casi siempre Infiniband), con ciertos servicios de soporte como sistemas de archivos compartidos y un planificador Puede analogizar estas características con Cloud, pero termina estirando los términos sin sentido. (Por ejemplo, la nube de Amazon ciertamente tiene un planificador, pero aloja instancias de VM que no están estrechamente acopladas por los estándares de HPC …)