Probar la aplicación Big Data es más una verificación de su procesamiento de datos en lugar de probar las características individuales del producto de software. Cuando se trata de pruebas de Big Data, el rendimiento y las pruebas funcionales son la clave.
En las pruebas de Big Data, los ingenieros de control de calidad verifican el procesamiento exitoso de terabytes de datos utilizando el cluster de productos básicos y otros componentes de soporte. Exige un alto nivel de habilidades de prueba ya que el procesamiento es muy rápido. El procesamiento puede ser de tres tipos.
- Lote
- Tiempo real
- Interactivo
Junto con esto, la calidad de los datos también es un factor importante en las pruebas de big data. Antes de probar la aplicación, es necesario verificar la calidad de los datos y debe considerarse como parte de la prueba de la base de datos. Implica verificar varias características como conformidad, precisión, duplicación, consistencia, validez, integridad de datos, etc.
- Cómo convertirse en ingeniero de aprendizaje automático si tengo experiencia en ciencia de datos / ingeniería no ML
- ¿Alguien ha hecho alguna vez el curso de Sliderule (renombrado como Springboard) en Ciencia de Datos, y si es así, ¿qué le quitó a la experiencia?
- ¿Cuáles son los mitos del big data que afectan a las PYME?
- ¿Qué tiene más alcance y permanecerá durante mucho tiempo en el mercado, la ciencia de datos, la computación en la nube o Hadoop y big data?
- ¿Cuál es una mejor iniciativa para aprender ciencia de datos: Python o R?
Las pruebas de Big Data se pueden dividir ampliamente en tres pasos:
Paso 1: Validación de puesta en escena de datos
El primer paso de las pruebas de big data, también conocido como etapa Pre-Hadoop, implica la validación del proceso.
- Los datos de varias fuentes, como RDBMS, weblogs, etc., deben validarse para asegurarse de que se ingresen los datos correctos en el sistema.
- Comparar los datos de origen con los datos introducidos en el sistema Hadoop para asegurarse de que coincidan.
- Verifique que los datos correctos se extraigan y carguen en la ubicación correcta de HDFS
Paso 2: Validación de “Reducción de mapa”
El segundo paso es una validación de “Map Reduce”. En esta etapa, el probador verifica la validación de la lógica de negocios en cada nodo y luego los valida después de ejecutarse en múltiples nodos, asegurando que
- El proceso Map Reduce funciona correctamente
- Las reglas de agregación o segregación de datos se implementan en los datos.
- Se generan pares de valores clave
- Validar los datos después del proceso Map Reduce
Paso 3: Fase de validación de salida
La última o tercera etapa de las pruebas de Big Data es el proceso de validación de salida. Los archivos de datos de salida se generan y están listos para ser trasladados a un EDW (Enterprise Data Warehouse) o cualquier otro sistema según los requisitos.
Las actividades en la tercera etapa incluyen
- Para comprobar las reglas de transformación se aplican correctamente
- Para verificar la integridad de los datos y la carga exitosa de datos en el sistema de destino
- Para verificar que no haya corrupción de datos comparando los datos de destino con los datos del sistema de archivos HDFS
Prueba de arquitectura
Hadoop procesa grandes volúmenes de datos y requiere muchos recursos. Por lo tanto, las pruebas arquitectónicas son cruciales para garantizar el éxito de su proyecto Big Data. Un sistema mal diseñado o incorrecto puede conducir a una degradación del rendimiento, y el sistema podría no cumplir con el requisito. Al menos, los servicios de prueba de Rendimiento y Fail-Over deben realizarse en un entorno Hadoop.
Las pruebas de rendimiento incluyen pruebas del tiempo de finalización del trabajo, utilización de memoria, rendimiento de datos y métricas de sistema similares. Si bien el motivo del servicio de prueba de conmutación por error es verificar que el procesamiento de datos se realice sin problemas en caso de falla de los nodos de datos
Pruebas de rendimiento
Las pruebas de rendimiento para Big Data incluyen las siguientes acciones
- Ingestión de datos y durante todo el proceso : en esta etapa, el probador verifica cómo el sistema rápido puede consumir datos de varias fuentes de datos. La prueba implica identificar diferentes mensajes que la cola puede procesar en un período de tiempo determinado. También incluye qué tan rápido se pueden insertar datos en el almacén de datos subyacente, por ejemplo, la tasa de inserción en una base de datos Mongo y Cassandra.
- Procesamiento de datos : implica verificar la velocidad con la que se ejecutan las consultas o los trabajos de reducción de mapas. También incluye probar el procesamiento de datos de forma aislada cuando el almacén de datos subyacente se llena dentro de los conjuntos de datos. Por ejemplo, ejecutar trabajos de Map Reduce en el HDFS subyacente
- Rendimiento de subcomponentes: estos sistemas están formados por múltiples componentes y es esencial probar cada uno de estos componentes de forma aislada. Por ejemplo, qué tan rápido se indexa y consume el mensaje, el mapa reduce los trabajos, el rendimiento de la consulta, la búsqueda, etc.
Si te ha gustado leer esta respuesta, asegúrate de votar y sígueme para obtener más información: Sateesh Rai
Fuente: Guru99
