Quiere aprender Big data. ¿Cómo debo aprender desde una perspectiva de prueba, por favor responda?

Big data es un tema en evolución y enorme. En pocas palabras, Big Data son sus datos. Es la información que posee su empresa, obtenida y procesada a través de nuevas técnicas para producir valor de la mejor manera posible. Cuando pregunte a los expertos, mencionarán el volumen, la velocidad, la veracidad y la variedad de V. El proceso se enfoca en encontrar hilos ocultos, tendencias o patrones que pueden ser invisibles a simple vista, para este propósito necesita herramientas, aquí es donde entra en juego el ecosistema hadoop, en palabras simples, hadoop permite el procesamiento distribuido de grandes conjuntos de datos a través de grupos de computadoras usando programación simple.

Ahora, volviendo a su pregunta, puede aprender big data de cousera, edx (puede acumular cursos en google), pero aprender estos cursos no será suficiente para dominar big data.

En pocas palabras: inscríbase en proyectos de big data, instale herramientas como hadoop, ejecute un programa simple de recuento de palabras en map reduce framework, trabaje con mongoDB. Estas cosas te darán grandes datos maestros.

Big Data se trata de procesar grandes datos y proporcionar información para el negocio. Para esto, hay muchos marcos disponibles en este momento, ¡el famoso es Hadoop! Para aprender Hadoop, el requisito es Java, ya que el marco Hadoop está construido en Java.

Para probar el código de Hadoop, debe comprender el marco, como cómo funciona y de qué se trata el código.

El enfoque principal de Hadoop está en Map Reduce. Cada trabajo enviado a Hadoop Framework se ejecutará solo como Map Reduce.

Conceptos importantes al realizar pruebas en Big Data:

  • Concepto de Integración Continua
  • Enfoque de desarrollo dirigido por prueba (TDD)
  • Estrategia de prueba de caja negra en Big Data
  • Estrategia de prueba de caja blanca en Big Data
  • Crear suite de pruebas / arnés de prueba
  • Cómo hacer pruebas de rendimiento en big data
  • ETL y pruebas de registro
  • Conceptos clave de los métodos de prueba ETL
  • Análisis de archivos de registro y pruebas

Estas son algunas de las herramientas de prueba disponibles en Hadoop:

  • Unidad de MR
  • Mockito
  • PigUnit
  • Prueba de colmena
  • Beetest
  • HBaseTestingUtility

More Interesting

¿Cuáles son los antecedentes de los miembros del equipo de datos de Quora?

No soy muy bueno en Estadística o Probabilidad, pero soy un buen programador. ¿Debo aprender Big Data?

En el mundo del big data, ¿quiénes son los expertos y cuáles son las empresas en este espacio?

Quiero aprender R y python simultáneamente para minería y análisis de datos. ¿Hay algún sitio web que proporcione una estructura de curso similar para ambos?

Como uno de los primeros practicantes de inteligencia artificial y reconocimiento de voz, ¿qué piensa James Baker del rumor en torno al aprendizaje automático y la ciencia de datos en la década de 2010?

¿Es la aplicación del sistema de semáforo de álgebra lineal? ¿Si es así, entonces cómo? Explicar brevemente.

Quiero aprender ciencia de datos en un mes. ¿Cómo lo hago?

¿Qué implica la creación de una aplicación para consumir, procesar y filtrar la manguera de Twitter de tweets en tiempo real?

¿Qué tan efectivos son los cursos en línea para aprender ciencia de datos?

¿En qué se diferencian los proyectos de aprendizaje automático de los proyectos de ciencia de datos?

¿Qué hace la combinación de datos y el software de análisis avanzado?

¿Cuál es una explicación intuitiva para la función de pérdida de registro?

¿Qué opciones de carrera hay para graduados no informáticos en Data Science?

¿Cómo se relacionan entre sí el IoT, los datos en la nube y los grandes datos?

¿Debo dominar Java o Python para una carrera de ingeniería de datos?