Esta pregunta presenta muchos puntos positivos sobre las soluciones actuales de big data. Tiene razón en que la cantidad de datos que genera una empresa está en continuo crecimiento. Con el auge de Internet y las redes sociales, se generan toneladas de datos cada minuto. Las agencias gubernamentales como la NASA tienen el mismo problema de grandes cantidades de generación de datos. Sin buenas herramientas, la extracción de todos los datos generados en una organización será imposible.
Por soluciones de big data, supongo que te refieres a Hadoop, Cassandra, Mongo DB, etc., pero definamos eso para esta publicación.
Hadoop es la herramienta que viene a la mente al escuchar la palabra big data. Hadoop utiliza el Sistema de archivos distribuidos de Hadoop para almacenar grandes volúmenes de datos en hardware de bajo costo y permite la recuperación de esos datos en forma de trabajos por lotes. Es importante tener en cuenta que HDFS es el sistema de almacenamiento de archivos. Herramientas como Hive, Pig, Spark operan sobre Apache Hadoop y resuelven diferentes problemas.
- Cómo saber cuántos datos debo entrenar mi algoritmo de Machine Learning y cuánto debo usar para garantizar el principio de generalización
- ¿En qué se diferencia un MS en Business Analytics de un MS en Data Science?
- ¿Cuál es la parte científica de la ciencia de datos?
- ¿Cuáles son los mejores institutos de capacitación y certificación de Big Data y Hadoop en Bangalore?
- ¿Los másteres en ciencia de datos son lo mismo que el análisis empresarial?
Luego están las bases de datos NoSQL como Mongo DB y Cassandra. Estas herramientas son realmente bases de datos que no almacenan datos en el modelo de base de datos relacional tradicional, sino en un formato de registro que no depende de un esquema de base de datos. Este modelo permite un procesamiento más rápido de los registros de datos, más flexibilidad y la capacidad de almacenar grandes cantidades de datos. Estas soluciones ofrecen muchos de los mismos beneficios que Apache Hadoop.
Herramientas como Apache Spark, Hive, Pig y Storm operan en conjunto con una de las fuentes de big data y se utilizan para procesar big data. Apache Spark, por ejemplo, ofrece la capacidad de realizar operaciones estadísticas y aprendizaje automático en grandes conjuntos de datos. Hay muchas herramientas en el mundo de Big Data y, a menudo, mucha configuración.
Los beneficios de esta infraestructura es la capacidad de procesar y analizar grandes conjuntos de datos, reducir la pérdida de datos y, a menudo, realizar análisis de datos en tiempo real. La desventaja de estas herramientas es que muchas de ellas están escritas en Java y, por lo tanto, pueden tomar un poco de tiempo para codificar o aprender a codificar, a menudo hay mucha configuración y configuración y estos pasos generalmente no son sencillos y duran muchos de estos Las herramientas solo se ejecutan en Linux.
Volviendo a su pregunta, estas herramientas y soluciones están en un punto muy temprano en la historia en comparación con el aumento de los grandes datos. Estas herramientas han existido durante 10 años o menos. Esto significa que no son para nada óptimos o perfectos. Entonces, ¿desaparecerán estas herramientas? Es cierto que la informática mejorará y la capacidad de una máquina local para manejar grandes cantidades de datos continuará aumentando. Sin embargo, no es probable que el hardware supere la tasa de aumento de datos. Esto significa que las empresas aún necesitarán usar grandes servidores y herramientas que optimicen el almacenamiento de datos. Hadoop en sí mismo puede no ser el futuro, sino posiblemente una iteración de Hadoop que sea más simple de usar. A medida que pase el tiempo, estas herramientas de big data serán más fáciles de usar y, por lo tanto, más aceptadas e integradas. Entonces, no, no se volverán obsoletos, pero lo más probable es que mejoren, cambien o incluso tengan que enfrentarse a la competencia.
Business Science Solutions es una empresa de transformación que integra procesos y ciencia de datos para nuestros clientes. ¡Nuestro sitio web Welcome ofrece publicaciones de blog y ofrecerá más contenido, como libros electrónicos, cursos de capacitación y seminarios web! ¡Compruébelo ahora para obtener más información sobre ciencia de datos e inscríbase en nuestra lista de correo electrónico para recibir actualizaciones sobre nuevos contenidos!
