¿Qué es el Big Data?
“ Big data es para máquinas; Los datos pequeños son para personas. ”
Supongamos que tiene una fuga en una tubería de agua en su jardín.
- ¿Cómo le explicarías P vs. NP a un niño?
- El sistema informático actual utiliza binario como plataforma digital en puertas lógicas. ¿Cuáles son las limitaciones para que tres estados representen 0, 1 y 2?
- ¿Cuáles son algunos buenos libros sobre los fundamentos del compilador para principiantes?
- Teoría de conjuntos: ¿Cuál es la cardinalidad de [matemáticas] \ Sigma ^ * [/ matemáticas]?
- Soy gerente de producto no técnico en una empresa de tecnología empresarial. Teniendo en cuenta que la mayoría de los puestos de PM en estos días requieren algunas habilidades técnicas, quiero obtener una mejor comprensión de los roles que juegan los ingenieros de software en las empresas tecnológicas. ¿Dónde comenzaría uno? ¿Debo familiarizarme con lenguajes de programación específicos? ¿O centrarse más en el proceso de cómo se desarrolla el software?
Toma un balde y algo de material de sellado para solucionar el problema, ¿verdad? Pero después de un tiempo, verá que la fuga es mucho mayor y que necesita un especialista (plomero) para traer herramientas más grandes. Mientras tanto, todavía está usando el balde para drenar el agua. Después de un tiempo, notas que se ha abierto una corriente subterránea masiva y necesitas manejar millones de litros de agua cada segundo.
No solo necesita nuevos cubos, sino un enfoque completamente nuevo para ver el problema solo porque el volumen y la velocidad del agua han crecido. Para evitar que la ciudad se inunde, tal vez necesite que el gobierno construya una presa masiva que requiera una enorme experiencia en ingeniería civil y un elaborado sistema de control. Para empeorar las cosas, el agua brota de la nada y todos tienen miedo de la variedad.
¿Espero que haya tocado un acorde?
Lo mismo ha estado sucediendo con “Datos”. Los conjuntos de datos se han vuelto tan grandes o complejos que el software de procesamiento de datos tradicional es inadecuado para manejar la captura, almacenamiento, análisis, conservación de datos, búsqueda, intercambio, transferencia, visualización, consulta, actualización y privacidad de la información. ¡Lo que se requería era “Big Data”!
“ Big Data se refiere a tecnologías e iniciativas que involucran datos que son demasiado diversos, de cambio rápido o masivos para que las tecnologías, técnicas, habilidades e infraestructura convencionales puedan abordarse de manera eficiente. ”
Big data es un término que describe el gran volumen de datos, tanto estructurados como no estructurados, que inundan una empresa en el día a día. Pero no es la cantidad de datos lo que importa. Lo que las organizaciones hacen con los datos es lo que importa. Los grandes datos se pueden analizar para obtener información que conduzca a mejores decisiones y movimientos estratégicos de negocios.
Si bien el término ” Big Data ” es relativamente nuevo, el acto de recopilar y almacenar grandes cantidades de información para su eventual análisis es muy antiguo. El término ha estado en uso desde la década de 1990, y algunos le dan crédito a John Mashey por acuñar o al menos hacerlo popular. El concepto cobró impulso a principios de la década de 2000 cuando el analista de la industria Doug Laney articuló la definición actual de big data como las tres Vs.
Modelo 3V de Big Data
Big data son activos de información de gran volumen, alta velocidad y / o gran variedad que requieren nuevas formas de procesamiento para permitir una mejor toma de decisiones, descubrimiento de información y optimización de procesos.
- Volumen : la cantidad de datos generados y almacenados. Hoy, Facebook ingiere 500 terabytes de datos nuevos todos los días; un Boeing 737 generará 240 terabytes de datos de vuelo durante un solo vuelo a través de los Estados Unidos; la proliferación de teléfonos inteligentes, los datos que crean y consumen; Los sensores integrados en objetos cotidianos pronto darán lugar a miles de millones de nuevas fuentes de datos constantemente actualizadas que contienen información ambiental, de ubicación y otra información, incluido video. En el pasado, almacenarlo habría sido un problema, pero las nuevas tecnologías (como Hadoop) han aliviado la carga.
- Velocidad : la velocidad a la que se generan y procesan los datos para satisfacer las demandas y los desafíos. Los datos fluyen a una velocidad sin precedentes y deben tratarse de manera oportuna. Las etiquetas RFID, los sensores y la medición inteligente están impulsando la necesidad de lidiar con torrentes de datos en tiempo casi real. Los flujos de clics y las impresiones de anuncios capturan el comportamiento del usuario en millones de eventos por segundo; los algoritmos de negociación de acciones de alta frecuencia reflejan los cambios del mercado en microsegundos; los procesos de máquina a máquina intercambian datos entre miles de millones de dispositivos; la infraestructura y los sensores generan datos de registro masivos en tiempo real; Los sistemas de juego en línea son compatibles con millones de usuarios concurrentes, cada uno de los cuales produce múltiples entradas por segundo.
- Variedad : el tipo y la naturaleza de los datos. Los datos vienen en todo tipo de formatos: desde datos numéricos estructurados en bases de datos tradicionales hasta documentos de texto no estructurados, correo electrónico, video, audio, datos de cotizaciones bursátiles y transacciones financieras. Big Data no son solo números, fechas y cadenas. Big Data también son datos geoespaciales, datos 3D, audio y video, y texto no estructurado, incluidos archivos de registro y redes sociales.
Big Data representa los activos de información caracterizados por un alto volumen, velocidad y variedad que requieren tecnología y métodos analíticos específicos para su transformación en valor. Además, algunas organizaciones han agregado nuevas V para describirlo.
- Variabilidad : la inconsistencia del conjunto de datos puede dificultar los procesos para manejarlo y administrarlo. Además de las crecientes velocidades y variedades de datos, los flujos de datos pueden ser muy inconsistentes con los picos periódicos.
- Veracidad : la calidad de los datos capturados puede variar mucho, lo que afecta el análisis preciso.
En realidad, ¿qué tan grande es Big Data?
Lo que cuenta como ” Big Data ” varía según las capacidades de los usuarios y sus herramientas, y las capacidades en expansión hacen de Big Data un objetivo móvil. Para algunas organizaciones, enfrentar cientos de gigabytes de datos por primera vez puede provocar la necesidad de reconsiderar las opciones de administración de datos. Para otros, puede tomar decenas o cientos de terabytes antes de que el tamaño de los datos se convierta en una consideración importante.
Big Data y limitaciones de los sistemas tradicionales
La necesidad de velocidad de big data impone demandas únicas en la infraestructura informática subyacente. Los sistemas de gestión de bases de datos relacionales y los paquetes de estadísticas y visualización de escritorio a menudo tienen dificultades para manejar Big Data. Los sistemas de bases de datos tradicionales se diseñaron para abordar volúmenes más pequeños de datos estructurados, menos actualizaciones o una estructura de datos predecible y consistente. Los sistemas de bases de datos tradicionales también están diseñados para operar en un solo servidor, lo que hace que el aumento de la capacidad sea costoso y limitado. La potencia informática necesaria para procesar rápidamente grandes volúmenes y variedades de datos puede abrumar a un solo servidor o clúster de servidores. Puede requerir un software masivamente paralelo que se ejecute en decenas, cientos o incluso miles de servidores.
Aplicaciones e impacto de Big Data y Analytics
Un ejemplo de Big Data podría ser petabytes o exabytes de datos que constan de miles de millones a billones de registros de millones de personas, todos de diferentes fuentes (por ejemplo, Web, ventas, centro de contacto con clientes, redes sociales, datos móviles, etc.). Con varios terabytes de tamaño, el texto y las imágenes de Wikipedia son otro ejemplo de Big Data.
- Los minoristas pueden rastrear los clics web de los usuarios para identificar tendencias de comportamiento que mejoran las campañas, los precios y las existencias.
- Las empresas de servicios públicos pueden capturar los niveles de uso de energía de los hogares para predecir interrupciones e incentivar un consumo de energía más eficiente.
- Los gobiernos e incluso Google pueden detectar y rastrear la aparición de brotes de enfermedades a través de las señales de las redes sociales.
- Las compañías de petróleo y gas pueden tomar la salida de sensores en sus equipos de perforación para tomar decisiones de perforación más eficientes y seguras.
Cuando combina Big Data con análisis de alta potencia , Big Data tiene el potencial de ayudar a las empresas a mejorar las operaciones y tomar decisiones más rápidas e inteligentes. Estos datos, cuando se capturan, formatean, manipulan, almacenan y analizan, pueden ayudar a una empresa a obtener información útil para aumentar los ingresos, obtener o retener clientes y mejorar las operaciones. Puede tomar datos de cualquier fuente y analizarlos para encontrar respuestas que permitan reducciones de costos y tiempo, desarrollo de nuevos productos y ofertas optimizadas, y toma de decisiones inteligente.
El impacto : Big Data ha aumentado la demanda de especialistas en gestión de la información tanto que Software AG, Oracle Corporation, IBM, Microsoft, SAP, EMC, HP y Dell han gastado más de $ 15 mil millones en empresas de software especializadas en gestión de datos y análisis.
Análisis de Big Data | Uso de la industria
Grandes datos llegan de múltiples fuentes a una velocidad, volumen y variedad alarmantes. Para extraer un valor significativo de Big Data, necesita una potencia de procesamiento, capacidades analíticas y habilidades óptimas. Big data afecta a las organizaciones en prácticamente todas las industrias.
- Banca : si bien es importante comprender a los clientes y aumentar su satisfacción, es igualmente importante minimizar el riesgo y el fraude mientras se mantiene el cumplimiento normativo.
- Educación : al analizar grandes datos, los educadores pueden identificar a los estudiantes en riesgo, asegurarse de que los estudiantes estén progresando adecuadamente y pueden implementar un mejor sistema para la evaluación y el apoyo de los maestros y directores.
- Gobierno : cuando las agencias gubernamentales pueden aprovechar y aplicar análisis a sus grandes datos, ganan un terreno significativo cuando se trata de administrar servicios públicos, administrar agencias, lidiar con la congestión del tráfico o prevenir el crimen.
- Atención de salud : registros de pacientes. Planes de tratamiento. Información de prescripción. Cuando se trata de la atención médica, todo debe hacerse de forma rápida, precisa y, en algunos casos, con suficiente transparencia para satisfacer las estrictas regulaciones de la industria.
- Fabricación : los fabricantes pueden aumentar la calidad y la producción al tiempo que minimizan los residuos. Los fabricantes pueden resolver problemas más rápido y tomar decisiones comerciales más ágiles.
- Minorista : los minoristas deben conocer la mejor manera de comercializar a los clientes, la forma más efectiva de manejar las transacciones y la forma más estratégica de recuperar los negocios caducados. Big data permanece en el corazón de todas esas cosas.