¿Deberían ser los mismos requisitos del sistema, como CPU y RAM para los maestros y esclavos de Hadoop?

Los nodos maestros (NameNode, ResourceManager, HBase Master) se aprovisionan de manera diferente que los nodos de datos.

NameNode es una base de datos en memoria (IMDB), por lo que debe aprovisionarse de modo que tenga suficiente memoria para atender el tamaño previsto del clúster (los cálculos de memoria se encuentran en la documentación). El registro de escritura anticipada es un posible cuello de botella, por lo que debe estar en un dispositivo rápido y confiable (par de unidades SSD EG RAID-1) que ningún otro proceso utilice. Obviamente, como IMDB, la latencia de RAM y el ancho de banda son factores críticos.

ResourceManager y HBase Master tienen preocupaciones similares. Consulte la documentación de su proveedor para conocer las configuraciones recomendadas.

Tenga en cuenta que, incluso con la alta disponibilidad habilitada, NameNode sigue siendo un punto único de falla y debe construirse en hardware de nivel empresarial versus hardware de grado básico. Incluso con HA NameNode, generalmente desea evitar una conmutación por error si es posible.

More Interesting

¿Cuáles son las principales diferencias entre el análisis predictivo tradicional y el aprendizaje automático?

¿Cómo construiría un universo de realidad virtual de 5 dimensiones?

¿Qué es el arranque en la computadora? ¿ROM tiene algún papel que desempeñar?

¿Cuáles son las startups de inteligencia artificial y aprendizaje automático más prometedoras en Nueva York / Nordeste?

¿Cómo se lleva a cabo el paso de inferencia en chatbots en el contexto del aprendizaje profundo o automático?

¿Por qué las redes neuronales son tan poderosas y versátiles para resolver problemas dado que las matemáticas detrás de las redes neuronales son decepcionantemente simples?

¿Qué puedo hacer para reducir el correo electrónico no deseado que he recibido últimamente? Más información en comentarios.

¿Debe un graduado de CS ir a un trabajo de nivel gerencial o ir a un trabajo de programación?

¿Cómo podemos usar la inteligencia artificial para ayudarnos a corregir nuestros prejuicios?

Mi profesor solo acepta proyectos en trabajos publicados. No estoy interesado en eso. ¿Qué tengo que hacer?

¿Cómo la computadora puede calcular?

¿Por qué Gran Bretaña no desarrolló más investigación e innovación en IA y computadoras después de la Segunda Guerra Mundial a pesar de tener un genio como Alan Turing?

¿Qué opinas sobre los diferentes tipos de computadoras?

Estoy recibiendo CS en BKBIET. ¿Mi vida está arruinada?

¿Cuál es el mínimo local y el mínimo global en aprendizaje automático? ¿Por qué son importantes en el aprendizaje automático?