¿Qué son las preguntas de la entrevista de Big Data?

Aquí están algunas de las preguntas más frecuentes que yo conozco en una entrevista de Hadoop y cómo responderlas de la mejor manera .

Preguntas y respuestas de la entrevista de Hadoop

Q.1 ¿En qué modos se ejecuta Hadoop?

Apache Hadoop se ejecuta en tres modos:

• Modo local (independiente): Hadoop se ejecuta en un solo nodo y en modo no distribuido como un único proceso Java de forma predeterminada. El modo local utiliza el sistema de archivos local para la operación de entrada y salida. También se utiliza con fines de depuración y no admite el uso de HDFS. Además, no se requiere una configuración personalizada para los archivos de configuración en este modo.
• Modo pseudodistribuido – Me gusta En modo local, Hadoop también se ejecuta en un solo nodo en un modo Pseudodistribuido. La diferencia es que cada daemon se ejecuta en un proceso Java separado en este modo. En modo pseudodistribuido, requerimos configuración para los cuatro archivos mencionados anteriormente. Todos los demonios en este caso se ejecutan en un nodo y, por lo tanto, el nodo maestro y el esclavo son iguales.
• Modo totalmente distribuido: en este modo, todos los demonios se ejecutan en nodos separados formando un clúster de múltiples nodos. Por lo tanto, permite nodos separados para Master y Slave.

Q.2 ¿Cuáles son las limitaciones de Hadoop?

• Varias limitaciones de Hadoop son:
• Problema con archivos pequeños: HDFS no puede manejar una gran cantidad de archivos pequeños. Como HDFS funciona con una pequeña cantidad de archivos grandes para almacenar conjuntos de datos en lugar de una gran cantidad de archivos pequeños.
• Velocidad de procesamiento: MapReduce requiere mucho tiempo para realizar estas tareas, lo que aumenta la latencia. A medida que los datos se distribuyen y procesan a través del clúster en MapReduce. Por lo tanto, aumentará el tiempo y reducirá la velocidad de procesamiento.
• Solo admite procesamiento por lotes: Hadoop solo admite el procesamiento por lotes. No procesa datos transmitidos. Por lo tanto, el rendimiento general es más lento.
• Procesamiento iterativo: Hadoop no es eficiente para el procesamiento iterativo porque Hadoop no admite el flujo de datos cíclicos.
• Vulnerable por naturaleza: Hadoop está escrito en lenguaje Java, el lenguaje más utilizado. Por lo tanto, Java ha sido muy explotada por los ciberdelincuentes. Además, implica numerosas violaciones de seguridad.
• Seguridad: Hadoop puede ser un desafío en la administración de la aplicación compleja. A Hadoop le falta un cifrado en los niveles de almacenamiento y de red, lo cual es un punto importante de preocupación.

Q.3 ¿Qué es un bloque en HDFS? ¿Cuál debería ser el tamaño del bloque para obtener un rendimiento óptimo del clúster Hadoop?

El tamaño de bloque predeterminado se cambia de 64 MB a 128 MB en Hadoop 2.x

Debemos saber qué impacto tiene un tamaño de bloque más bajo o un tamaño de bloque más alto en el rendimiento. Con esto podemos decidir el tamaño del bloque.

• Cuando el tamaño del bloque es pequeño , la búsqueda sobrecarga aumenta a medida que el tamaño del bloque es pequeño . Esto significa que los datos cuando se dividen en bloques se distribuirán en más cantidad de bloques. A medida que se crean más bloques, habrá más búsquedas para leer / escribir datos desde / hacia los bloques. Además, un gran número de bloques aumenta la sobrecarga para el nodo de nombre, ya que requiere más memoria para almacenar los metadatos.
• Cuando el tamaño del bloque es mayor , entonces el procesamiento paralelo toma un golpe y el procesamiento completo tomará mucho tiempo ya que los datos en un bloque pueden tomar una gran cantidad de tiempo para el procesamiento http: // .

Por lo tanto, deberíamos elegir un tamaño de bloque moderado de 128 MB y luego analizar y observar el rendimiento del clúster. Luego podemos elegir aumentar / disminuir el tamaño de bloque dependiendo de nuestra observación.

Q.4 ¿Por qué HDFS realiza la replicación, aunque resulta en redundancia de datos?

HDFS realiza la replicación de datos para proporcionar tolerancia a fallas y mejorar la confiabilidad de los datos. HDFS se trata de datos en gran cantidad, por lo que no se puede permitir la pérdida de datos en ninguna circunstancia.

Los datos podrían no estar disponibles por alguna de las siguientes razones,
1) Cuando el nodo está caído,
2) Cuando el nodo perdió la conectividad de red,
3) Cuando el nodo está físicamente dañado,
4) cuando el nodo no está disponible intencionalmente para el escalado horizontal.

Q.5 ¿Por qué HDFS almacena datos utilizando hardware básico a pesar de la mayor probabilidad de fallas?

Razones HDFS Los datos de almacenamiento que utilizan hardware básico a pesar de la mayor probabilidad de fallas son:

• Hadoop HDFS es altamente tolerante a fallas. Proporciona tolerancia a fallas al replicar los bloques de datos y distribuirlos entre diferentes DataNodes a través del clúster. Se crean 3 réplicas del bloque de datos de forma predeterminada. En HDFS, la replicación de datos resuelve el problema de la pérdida de datos en condiciones desfavorables, como el bloqueo del nodo, la falla del hardware, etc. Ahora, cuando cualquier máquina en el clúster se cae, el cliente puede acceder fácilmente a sus datos desde otra máquina que contiene la misma copia de los bloques de datos.
• HDFS proporciona procesamiento distribuido para que cada nodo de datos tenga un proceso suficiente para hacer.
• Hadoop HDFS Es económico almacenar datos en hardware http: // de productos básicos.
• Proporciona características de ALTA DISPONIBILIDAD . Esto significa que la disponibilidad de datos en todas las condiciones, incluso en caso de falla de la máquina.
• Q.6 Idealmente, ¿cuál debería ser el factor de replicación en un clúster de Hadoop?
• Por defecto, el factor de replicación de HDFS es 3. Idealmente, este debería ser el factor de replicación.
• Los parámetros básicos que pueden considerarse al elegir el factor de replicación son:

1.El costo de la falla del nodo
2. Probabilidad relativa de nodo
3. Costo de replicación

Q.7 ¿Cuál es la necesidad de Hadoop MapReduce?

MapReduce es una capa de procesamiento de datos en Hadoop. Al usar MapReduce, movemos el cálculo a los datos, lo que es menos costoso en comparación con el movimiento de los datos al cálculo.

Antes del desarrollo de Hadoop MapReduce, el enorme volumen de procesamiento de datos era bastante difícil ya que se necesitaban cientos y miles de procesadores (CPU) para manejar la gran cantidad de datos. Además, la paralelización y la distribución tampoco fueron posibles con grandes conjuntos de datos. Map reduce hace que estas cosas sean posibles y fáciles además de eso, también proporciona programación de E / S, estado y monitoreo del trabajo.

MapReduce es un modelo de programación tolerante a fallas conocido como el corazón del ecosistema Hadoop . Debido a todas las características anteriores, MapReduce se ha convertido en el favorito de la industria de Big Data. Esta es también la razón por la que está presente en muchos marcos de Big Data .

Q.8 ¿Qué es la conciencia del bastidor? ¿Cuál es su necesidad en Hadoop?

En el gran clúster de Hadoop , para mejorar el tráfico de la red mientras lee / escribe un archivo HDFS, NameNode elige el DataNode que está más cerca del mismo rack o del rack cercano a la solicitud de lectura / escritura. NameNode logra datos de rack al mantener los identificadores de rack de cada DataNode. Este concepto elige Datanodes en función de la información del rack y se llama Rack Awareness en Hadoop.

En HDF, NameNode se asegura de que todas las réplicas no se almacenen en el mismo rack o en un solo rack; sigue el algoritmo de conciencia de bastidor para reducir la latencia y la tolerancia a fallas.

Q.9 Comparar Reductor y Combinador en Hadoop MapReduce?

El Combinador es Mini-Reductor que realiza la tarea de reducción local. El Combinador se ejecuta en la salida del Mapa y produce la salida a la entrada del reductor. Un combinador se usa generalmente para la optimización de la red. Reducer toma un conjunto de pares clave-valor intermedios producidos por el asignador como entrada. Luego ejecuta una función de reducción en cada uno de ellos para generar la salida. La salida del reductor es la salida final.

• El combinador tiene un inconveniente. es decir, la clave de entrada o la clave de salida y los tipos de valor deben coincidir con los tipos de salida del mapeador.
• Los combinadores solo pueden funcionar en un subconjunto de claves y valores.
• Es decir, los combinadores solo pueden ejecutarse en funciones que son conmutativas. Las funciones del combinador reciben información de un único asignador. Por otro lado, los reductores pueden tomar datos de varios mapeadores como resultado de la partición.

Q.10 ¿Qué sucede si el número de reductores es 0 en Hadoop?

Si el número de reductor se establece en cero, no se ejecutará ningún reductor y no se realizará ninguna agregación. En este caso, preferimos ” Trabajo de solo mapa ” en Hadoop. En un trabajo de solo mapa , el mapa hace todo el trabajo con su InputSplit y el reductor no hace ningún trabajo. La salida del mapa se toma como la salida final.

Entre el mapa y las fases de reducción tenemos la fase clave, de clasificación y aleatoria. La fase de ordenar y mezclar ordena las teclas en orden ascendente. Los valores del grupo se basan en las mismas claves. Esta fase es muy costosa. Si no se necesita la fase de reducción, debemos tratar de evitarla. Evitar reducir la fase también eliminaría la fase de clasificación y mezcla aleatoria. Esto también ahorra congestión de red. Al igual que al barajar, una salida de mapeador viaja al reductor, cuando el tamaño de los datos es enorme, los datos grandes viajan al reductor.

Para obtener más información sobre las preguntas y respuestas de la entrevista de Hadoop, puede visitar los siguientes enlaces y no olvide ‘UPVOTE’ si la información anterior fue útil.

Las 50 preguntas y respuestas más importantes de la entrevista de Hadoop

Las 100 preguntas y respuestas más importantes de la entrevista de Hadoop

Las más de 50 preguntas y respuestas de la entrevista HDFS

¡Todo lo mejor!

Las 5 preguntas más importantes de la entrevista de Hadoop:

1. ¿ Qué es Hadoop?

Hadoop es una plataforma informática distribuida. Está escrito en Java. Consiste en características como Google File System y MapReduce.

2. ¿Cuáles son los formatos de entrada más comunes definidos en Hadoop?

Estos son los formatos de entrada más comunes definidos en Hadoop:

1. TextInputFormat
2. KeyValueInputFormat
3. SequenceFileInputFormat

TextInputFormat es un formato de entrada predeterminado.

3. ¿Cuántos InputSplits realiza un Marco Hadoop?

Hadoop hará 5 divisiones de la siguiente manera:

• Una división para archivos de 64K
• Dos divisiones para archivos de 65 MB, y
• Dos divisiones para archivos de 127 MB

4. ¿Cuáles son las funcionalidades de JobTracker?

Estas son las tareas principales de JobTracker:

• Para aceptar trabajos del cliente.
• Para comunicarse con NameNode para determinar la ubicación de los datos.
• Para localizar nodos de TaskTracker con ranuras disponibles.
• Para enviar el trabajo al nodo TaskTracker elegido y supervisa el progreso de cada tarea.

5. ¿Qué es “mapa” y qué es “reductor” en Hadoop?

Mapa : en Hadoop, un mapa es una fase en la resolución de consultas HDFS. Un mapa lee datos de una ubicación de entrada y genera un par de valores clave según el tipo de entrada.

Reductor: en Hadoop, un reductor recopila la salida generada por el asignador, la procesa y crea una salida final propia.

Haga clic aquí para conocer las preguntas más importantes de la entrevista para Hadoop

Si desea comenzar su carrera en Big Data Hadoop, le recomiendo que primero aprenda los conceptos básicos de Big Data Hadoop porque la mayoría de las preguntas de la entrevista giran en torno a los conceptos básicos. Este es el muy buen momento para comenzar su carrera en esta tecnología en auge. Por lo tanto, no deje una sola oportunidad de perder esta oportunidad de oro. Casi todas las compañías primero verifican sus conceptos básicos sobre el tema, si borraron la parte básica de la sesión, entonces avanzarán con la parte compleja.

Algunas de las preguntas de entrevista más comunes y frecuentes para Big Data Hadoop son:

• ¿Qué es el Big Data?
• ¿Por qué deberíamos usar Big Data ?
• ¿Cuáles son los pasos clave en las soluciones de Big Data?
• ¿Cómo proporcionó Hadoop la solución para Big Data ?
• ¿De dónde viene Big Data?
• ¿Por qué necesitamos Hadoop ?
• ¿Comparar Hadoop y RDBMS?
• ¿Cómo se logra la seguridad en Hadoop?
• ¿Cuáles son los modos en que se ejecuta Hadoop?
• ¿Cuáles son las características del modo pseudo?
• ¿Qué son los archivos de configuración en Hadoop?
• ¿Comparar Hadoop 2 y Hadoop 3?
• ¿Explicar la localidad de datos en Hadoop?
• ¿Qué es Safemode en Hadoop?
• ¿Por qué uno elimina o agrega nodos en un clúster de Hadoop con frecuencia?
• ¿Cómo reiniciar NameNode o todos los demonios en Hadoop?
• ¿Qué es MapReduce ?
• ¿Cuál es la diferencia entre HDFS y Hbase ?
• ¿Por qué usamos HBase cuando tenemos HDFS para almacenamiento?

Para más preguntas con respuestas de calidad, consulte el siguiente enlace:

Las mejores preguntas de la entrevista de Hadoop y Big Data

Las mejores preguntas de la entrevista de MapReduce

Las 50 preguntas principales de la entrevista HDFS

Las siguientes preguntas de la entrevista son de BigData Hadoop.

1. ¿Qué son Hadoop y sus componentes?

2. ¿Diferenciar entre datos estructurados y no estructurados?

3. Explique la diferencia entre NameNode, Checkpoint NameNode y BackupNode.

4. ¿Qué son HDFS y YARN?

5. ¿Comparar Hadoop y RDBMS?

6. ¿Qué es un punto de control?

7. ¿Cuáles son las aplicaciones de Big Data?

8. ¿En qué se pueden ejecutar todos los modos de Hadoop?

9. ¿Qué es el caché distribuido y cuáles son sus beneficios?

10. ¿Cuál es la diferencia entre SORT BY y ORDER BY en Hive?

11. ¿Qué es la “Conciencia del bastidor”?

12. ¿Se puede cambiar el número de mapeadores que se crearán para un trabajo en Hadoop?

13. ¿Cuáles son los parámetros de la función de mapeadores y reductores?

14. ¿Qué es la ejecución especulativa?

15. ¿Qué es una “combinación”?

Además de las preguntas, hay algunas plataformas en línea que realizan entrevistas simuladas en cualquier dominio para descifrar una entrevista. Las entrevistas simuladas en línea con expertos son esa plataforma para practicar las preguntas y respuestas de la entrevista con expertos y obtener el cuadro de mando detallado para conocer nuestras fortalezas y debilidades.

Primero aprenda los conceptos básicos de Big Data, como qué es Big Data, por qué deberíamos aprender Big Data, cuánto es Big Data, etc., porque la mayoría de las preguntas giran en torno a lo básico.

Puede consultar el siguiente enlace para la pregunta de la entrevista

Preguntas de la entrevista para Big Data Hadoop