¿Podría evitar usar una tecnología distribuida en el trabajo en un solo nodo y pasar entrevistas de ciencia de datos?

A2A: En primer lugar, Hadoop es solo una parte de la ciencia de datos, por lo que puedo asegurarle que se le pedirá mucho más que eso. Para saber más en detalle sobre un buen científico de datos, eche un vistazo a mi respuesta a ¿Qué hace a un buen científico? Volviendo a su pregunta, diría que si tuviera que entrevistarlo, definitivamente le preguntaría la cantidad de nodos y también sus tamaños. Todo el propósito de usar Hadoop es poder hacer computación paralela; El uso de un solo nodo supera por completo el propósito. Estamos hablando de rendimiento entre cerdo, colmena, mahout, chispa; cada uno de estos es adecuado para diferentes casos de datos y consultas. Y eso dependerá de la cantidad de bloques que esté procesando. Por ejemplo, para procesar 50 nodos de trabajo de Hadoop y 25 bloques de disco, habrá 25 bloques con 25 nodos de trabajo y los 25 nodos restantes estarán libres. En este caso solo necesita 25 nodos de trabajo hadoop. Entonces, en su caso, si solo estaba procesando 1 bloque de disco, tiene sentido usar un solo nodo. De lo contrario, me quedaría con un clúster que ofrezca un mejor rendimiento. En pocas palabras, si puede explicar por qué usó un solo nodo en lugar de un clúster, será bueno. Las entrevistas son para juzgar si tienes un buen razonamiento para hacer lo que hiciste. Generar clústeres no es muy difícil. Sugiero aprender al respecto. Hive, Pig, Mahout funcionan a la perfección en clústeres y definitivamente notará una diferencia de rendimiento. ¡Buena suerte!