Alcance de Big Data y Hadoop:
Big data como término tiene un gran significado, se puede describir de varias maneras, pero en realidad big data significa conjuntos de datos que son tan grandes o complejos que las aplicaciones convencionales de procesamiento de datos no son apropiadas. Los desafíos a los que se enfrenta cada profesional son el análisis, la captura, la conservación de datos, la búsqueda, el intercambio, el almacenamiento, la transferencia, la visualización, la consulta y la actualización y la privacidad de la información. El término a menudo se refiere simplemente al uso de análisis que pueden ser predictivos o ciertos otros métodos avanzados para extraer valor de los datos y clasificarlos en un tamaño particular de conjunto de datos. Los grandes datos deben ser precisos de modo que conduzcan a una toma de decisiones más segura, y mejores decisiones pueden resultar en una mayor eficiencia operativa, reducción de costos y menor riesgo.
Ahora hablemos sobre Hadoop, qué es Hadoop y cómo está impactando el mundo de datos de hoy. Hadoop es un marco de programación gratuito basado en Java que admite el procesamiento de grandes conjuntos de datos en un entorno informático distribuido. Es parte del proyecto Apache patrocinado por la Apache Software Foundation. El uso de Hadoop permite ejecutar aplicaciones en sistemas con miles de nodos que involucran miles de terabytes. Su sistema de archivos distribuido ayuda a velocidades rápidas de transferencia de datos entre nodos y permite que el sistema continúe operando sin interrupciones en caso de falla de un nodo. Este enfoque reduce el riesgo de fallas catastróficas del sistema, incluso si un número significativo de nodos deja de funcionar. Hadoop se basa en MapReduce de Google, un marco de software en el que una aplicación se divide en una gran cantidad de partes pequeñas. Cualquiera de estas partes se puede ejecutar en cualquier nodo del clúster. Lleva el nombre del elefante de peluche infantil del creador. El ecosistema actual de Hadoop consta del núcleo de Hadoop, MapReduce, el sistema de archivos distribuidos de Hadoop (HDFS) y una serie de proyectos relacionados. El marco Hadoop es utilizado por las principales empresas, incluidas Google, Yahoo e IBM, principalmente para aplicaciones que involucran motores de búsqueda y publicidad. Los sistemas operativos preferidos son Windows y Linux, pero Hadoop también puede funcionar con BSD y OS X. Como hemos discutido qué es Hadoop y qué es Big Data ahora, hablemos sobre la diferencia entre Hadoop y Big Data en la forma en que se diferencian entre sí. Big Data no es más que un concepto que facilita el manejo de grandes cantidades de conjuntos de datos. Hadoop es solo un marco único de docenas de herramientas. Hadoop se utiliza principalmente para el procesamiento por lotes.
- Estoy tratando de entender las redes neuronales y algunas técnicas de aprendizaje automático. ¿Cuál es la mejor fuente para lo mismo?
- ¿Qué material debería tratar de cubrir el curso "Introducción a la ciencia de datos" de primavera de 2011 en Berkeley?
- ¿Qué necesito saber para convertirme en científico de datos?
- ¿Cuáles son algunos de los "productos de datos" creados por los grandes como Amazon, LinkedIn, Twitter, Facebook, etc.?
- ¿Cuáles son las competencias básicas para un ingeniero de datos?
Si desea saber más sobre el alcance de Big Data y Hadoop, visite Big Data & Hadoop. Aquí obtienes mucha más información de calidad que te será útil.
