Si esos nodos remotos van a estar trabajando en términos de ejecutar su aplicación spark, entonces sí necesita instalar el binario Spark en esos nodos.
La idea es que ejecute un comando de envío de chispas en su computadora portátil con su maestro señalando al maestro del grupo de hilos, y luego su computadora portátil hablaría con el maestro en términos de obtener CPU y memoria de los nodos de los grupos y luego ejecuta tu aplicación.
En este escenario, estoy hablando de ejecutar spark-submit en modo cliente, que es el valor predeterminado y significa que su computadora portátil es el controlador de su aplicación. Si su computadora portátil tiene poca potencia o está lejos del clúster, probablemente sea mejor que ejecute spark-submit en modo de clúster, lo que significa que un nodo arbitrario en el clúster es el controlador y se comunicará con los otros nodos remotos como trabajadores.
- ¿Qué es una puerta de enlace SMS masiva?
- ¿TensorFlow está sobrevalorado? ¿Merece ser mucho más popular que otros marcos?
- ¿Los cambios que Harvey Mudd College hizo en su programa de CS para atraer a tantas mujeres serán fácilmente replicables por otras universidades?
- Soy un estudiante de último año de ingeniería en ciencias de la computación en busca de pasantías en desarrollo web. ¿Cuáles son los pasos que debo seguir para obtener uno? ¿Cómo debo buscar empresas? ¿Cuáles son las habilidades que debo adquirir antes de solicitar una?
- ¿Cómo funcionan los microprocesadores?
