¿Cuánto carnero por chispa?

Depende de la cantidad de datos que desee analizar con Apache spark. Una pequeña cantidad de datos, es decir, Kbs o hasta 10 Mb de datos, no son un problema para generar la ejecución en un solo clúster. Pero como Spark es un marco de procesamiento en memoria, es una actividad intensiva en memoria, por lo que puede provocar retrasos en el funcionamiento del sistema y problemas de calefacción. Implementarlo en un solo clúster para fines de aprendizaje e investigación está bien, siempre y cuando los datos sean menores. Una vez había discutido lo mismo con un experto, por lo que me dijo que usaba un sistema que tenía 16 Gb de ram que sería lo suficientemente bueno como para implementarlo en un solo nodo. En las grandes empresas, en su mayoría utilizan clústeres AWS EC2 (Elastic Cloud Computing) e inician Spark en estas máquinas virtuales solo cuando están seguros de que el procesamiento producirá los mejores resultados posibles, ya que los servicios de computación en la nube proporcionados por los proveedores no son gratuitos. ! Por lo tanto, mi sugerencia sería al menos ir a 8–16 Gbs de ram para el clúster de un solo nodo o tratar de conectar varios nodos de trabajo para un mejor rendimiento.