¿Cuál es una de las mejores arquitecturas para aplicaciones empresariales SaaS intensivas en computación (algoritmo de optimización de ejecución para un problema NP-hard) considerando escalabilidad, confiabilidad, etc.?

En primer lugar, ¿cuál es tu algoritmo? Supongo que pretendes resolver aproximadamente el problema NP-difícil (es decir, resolver una aproximación polinómica del mismo), ¿verdad? Entonces, el primer paso es obtener algunos algoritmos polinómicos que se aproximen suficientemente a los resultados deseados en condiciones y datos de entrada suficientes. Luego, seleccione un algoritmo que sea natural para distribuir en compartir nada o, de hecho, compartir pocos datos, por ejemplo, una forma tal como reducción de mapas o cálculos gráficos, estilo MPI, unión de horquilla, que son formas estándar para organizar algoritmos típicos para que la computación pueda permanecer unida a la CPU (en lugar de estar unida a E / S y esperar la E / S que sería necesaria si se movieran demasiados datos entre los nodos). O si deben permanecer vinculados a E / S, lo minimizan; de hecho, podría definir la complejidad como el número de operaciones de E / S en comparación con las dimensiones problemáticas en este caso, y nuevamente el objetivo es tener un polinomio de grado pequeño intercambios de datos entre las computadoras cooperantes para resolver el problema. En cuanto a muchos problemas de computación, Apache Spark y Apache Flink son los marcos más populares que incluyen computación gráfica, aprendizaje automático, cálculos algebraicos y un motor computacional genérico declarativo de estilo funcional que distribuye de manera transparente su trabajo (pero su manera puede controlarse mediante recuentos de particiones y funciones de partición). Experimente hasta llegar a un buen algoritmo. De lo contrario, puede intentar crear a mano un mapa reducido, o MPI también, en caso de que pueda ser más rápido de lo que proporciona Spark o Flink. Por favor proporcione más detalles?