Gracias por A2A Harsha.
Déjame intentar explicarlo.
Hadoop tiene un sistema de archivos como todos los demás ecosistemas, HDFS.
- ¿Cuáles son algunos de los recursos disponibles para los estudiantes de informática en predicción de la estructura secundaria de ARN?
- ¿Cuál es la mejor fuente en línea para el aprendizaje de algoritmos?
- ¿Puede la búsqueda de profundización iterativa encontrar una solución más rápida que A * en algunos casos?
- ¿Cómo debo hacer uso de sitios como HackerEarth y GeeksforGeeks si tengo habilidades de algoritmos por debajo del promedio?
- ¿Cuál es la forma más eficiente de ordenar un millón de enteros de 32 bits?
HDFS tiene un tamaño de bloque como cualquier otro sistema de archivos, 128 MB por defecto desde Hadoop 2.xy 64 MB por defecto antes. Este valor predeterminado es realmente configurable.
Puede usar una propiedad llamada dfs.blocksize en hdfs-site.xml para hacerlo.
Ahora vamos a tu pregunta. Cómo se fragmentan los archivos en bloques de 64/128 MB.
Hadoop tiene una arquitectura de tres capas
- Clientes en la cima
- Maestros en el medio para recibir la solicitud del cliente
- Esclavos en la parte inferior para hacer todo el procesamiento.
La última capa es responsable del almacenamiento y el procesamiento.
Cuando el cliente solicita que necesite escribir un archivo de 1 GB, puede usar un comando como este.
hadoop fs -put / localFileLocation / someHDFSlocation
Cuando lo hace, divide el archivo en bloques y le pregunta al namenode, que resulta ser consciente de dónde debe ir el bloque. Nombre nodo da tres direcciones diferentes, por defecto, donde se deben escribir los bloques.
Una vez que el cliente adquiere la información, escribe los datos en las máquinas esclavas, distribuidas en forma de bloques.
¡Espero que ayude!
