¿Cómo usan las grandes organizaciones los grandes datos?

El objetivo principal del análisis de big data es ayudar a las empresas a tomar decisiones comerciales más informadas al permitir que DATA Scientist, modeladores predictivos y otros profesionales de análisis analicen grandes volúmenes de datos de transacciones, así como otras formas de datos que la inteligencia comercial convencional puede aprovechar. (BI) programas. Hadoop All in 1, Data Science, Statistics and Probability – Clases de capacitación de cursos combinados en línea | Hadoop All in 1, Data Science, Statistics and Probability – Cursos combinados de cursos en línea que podrían incluir registros del servidor web y datos de clics de Internet, contenido de redes sociales e informes de actividad de redes sociales, texto de correos electrónicos de clientes y respuestas de encuestas, detalles de llamadas de teléfonos móviles registros y datos de máquinas capturados por sensores conectados a INTERNET Cosas Algunas personas asocian exclusivamente grandes datos con datos semiestructurados y sin obstáculos de ese tipo, pero las firmas consultoras como Gartner Inc. y Forrester Research Inc. también consideran que las transacciones y otros datos estructurados son componentes válidos de aplicaciones de análisis de big data.

Los grandes datos se pueden analizar con las herramientas de software comúnmente utilizadas como parte de las disciplinas de Advance Analytics, como la minería de datos de análisis preventivo, el análisis de texto y el método estático. El software de BI convencional y las herramientas de visualización también pueden desempeñar un papel en el proceso de análisis. Pero los datos semiestructurados y no estructurados pueden no encajar bien en el Data Warehouse tradicional basado en la base de datos relacional. Además, es posible que los almacenes de datos no puedan manejar las demandas de procesamiento que plantean los conjuntos de grandes datos que deben actualizarse con frecuencia o incluso de manera continua, por ejemplo, datos en tiempo real sobre el rendimiento de aplicaciones móviles o de oleoductos y gasoductos. Como resultado, muchas organizaciones que buscan recopilar, procesar y analizar grandes datos han recurrido a una nueva clase de tecnologías que incluye Hadoop y herramientas relacionadas como Yarn Spook, Spark y Pig, así como bases de datos No Sql. Esas tecnologías forman el núcleo de un marco de software de código abierto que admite el procesamiento de conjuntos de datos grandes y diversos en sistemas agrupados.

En algunos casos, los sistemas Hadoop Cluster y No SQL se están utilizando como plataformas de aterrizaje y áreas de preparación de datos antes de que se carguen en un almacén de datos para su análisis, a menudo en forma resumida que es más propicio para las estructuras relacionales. Sin embargo, cada vez más, los proveedores de Big Data están impulsando el concepto de una toma de datos de Hadoop que sirve como el depósito central para los flujos entrantes de datos sin procesar de una organización. En tales arquitecturas, los subconjuntos de datos se pueden filtrar para su análisis en almacenes de datos y bases de datos de análisis, o se pueden analizar directamente en Hadoop utilizando herramientas de consulta por lotes, software de procesamiento de flujo y tecnologías SQL y Hdoop que ejecutan consultas interactivas y ad hoc escritas en SQL Las posibles trampas que pueden hacer tropezar a las organizaciones en iniciativas de análisis de big data incluyen la falta de habilidades analíticas internas y el alto costo de contratar profesionales analíticos experimentados. La cantidad de información que suele estar involucrada, y su variedad, también pueden causar dolores de cabeza en la gestión de datos, incluidos la calidad de los datos y los problemas de coherencia. Además, integrar sistemas Hadoop y almacenes de datos puede ser un desafío, aunque varios proveedores ahora ofrecen conectores de software entre Hadoop y bases de datos relacionales, así como otras herramientas de integración de datos con capacidades de big data.

Las empresas están utilizando el poder de los conocimientos proporcionados por Big Data para establecer instantáneamente quién hizo qué, cuándo y dónde. El mayor valor creado por estos conocimientos oportunos y significativos de grandes conjuntos de datos es a menudo la toma de decisiones empresariales efectivas que permiten los conocimientos.

Extrapolar información valiosa de cantidades muy grandes de datos estructurados y no estructurados de fuentes dispares en diferentes formatos requiere la estructura adecuada y las herramientas adecuadas. Para obtener el máximo impacto comercial, este proceso también requiere una combinación precisa de personas, procesos y herramientas analíticas. Algunos de los beneficios comerciales potenciales de implementar una metodología eficaz de información de big data incluyen:

  1. Información oportuna de la gran cantidad de datos. Esto incluye los que ya están almacenados en las bases de datos de la compañía, de fuentes externas de terceros, Internet, redes sociales y sensores remotos.
  2. Monitoreo y pronóstico en tiempo real de eventos que impactan el desempeño del negocio o la operación
  3. Capacidad para encontrar, adquirir, extraer, manipular, analizar, conectar y visualizar datos con las herramientas de elección (SAP HANA, SAP Sybase®, SAP Intelligence Analysis para la aplicación del sector público de Palantir, Kapow®, Hadoop).
  4. Convergencia de la solución BDI para variedad con la velocidad de SAP HANA para velocidad
  5. La capacidad de Hadoop para volúmenes de gestionar grandes cantidades de datos, dentro o fuera de la nube, con validación y verificación.
  6. Identificar información importante que pueda mejorar la calidad de las decisiones.
  7. Mitigar el riesgo optimizando las decisiones complejas de eventos no planificados más rápidamente
  • Aborda la velocidad y escalabilidad, movilidad y seguridad, flexibilidad y estabilidad.
  • Integración de datos estructurados y no estructurados.
  • El tiempo de realización de la información es crítico para extraer valor de varias fuentes de datos, incluidos dispositivos móviles, identificación por radiofrecuencia (RFID), la Web y una lista creciente de tecnologías sensoriales automatizadas.
  • SAP HANA proporciona el almacén de negocios / almacén de datos empresariales (BW / EDW) extremadamente acelerado.
  • Hadoop proporciona almacenamiento de datos confiable y procesamiento paralelo de datos de alto rendimiento, la capacidad de almacenar conjuntos de datos extremadamente grandes.
  • La nube es extensible, flexible, escalable, elástica, autorreparable, bajo demanda, etc. y proporciona la plataforma económica de hardware / software con todas las aplicaciones (como Kapow, SAP Intelligence Analysis for Public Sector application de Palantir, CRM, SAP Sybase IQ, SAP Data Services con análisis de texto) para una aceleración rápida con requisitos de menor costo de capital.

El sector público tiene un único objetivo: servir a los ciudadanos de manera eficiente y efectiva a su mayor nivel de satisfacción, a pesar de tener recursos y presupuestos limitados. Big Data ya se está convirtiendo en un diferenciador competitivo clave y un activo para las empresas en muchos sectores, desde telecomunicaciones, banca y comercio minorista.

Las lecciones de big data que se han aprendido en el sector privado son igualmente aplicables al sector público. La red de complejidades entre las diferentes agencias y departamentos públicos significa que el valor de los datos gubernamentales puede ser de naturaleza latente y requerir un almacenamiento y análisis innovadores para liberarlos. Pero a pesar de su posición especial en la captura de información, las entidades del sector público han sido en gran medida ineficaces en su uso.

A menudo, el punto de partida para que el sector comercial gane valor con esta gran cantidad de información es construir una vista única o de 360 ​​grados del cliente utilizando tecnologías emergentes de código abierto como Apache Hadoop, Apache Spark y machine learning. Del mismo modo, construir una visión holística, única o de 360 ​​grados de los ciudadanos permite a las organizaciones del sector público ofrecer servicios de alta calidad de una manera más eficiente y efectiva.

Esta visión única o de 360 ​​grados de los ciudadanos ofrece un tremendo poder para transformar las relaciones entre las empresas, los ciudadanos, los consumidores y el gobierno. Las tecnologías de Big Data pueden transformar la prestación de servicios públicos con un enfoque centrado en los ciudadanos para proporcionar servicios que el gobierno está obligado a proporcionar a los ciudadanos de una manera más convincente, personalizada y oportuna. Este enfoque puede permitir que cada parte del gobierno sirva a los ciudadanos mejor que nunca.

El desafío del big data para el sector público.

Hoy en día, los departamentos y las organizaciones del sector público deben ser impulsados ​​por los datos más que nunca. Sin embargo, la cantidad y diversidad de datos disponibles, y su tasa de cambio, hacen que el movimiento continuo y la transformación de grandes volúmenes de datos en los sistemas tradicionales heredados, como los sistemas de gestión de bases de datos relacionales (RDBMS) o los sistemas de gestión de relaciones con los clientes (CRM) sean insostenibles. Como en el sector privado, las realidades modernas de las organizaciones del sector público exigen un nuevo enfoque.

Hadoop ofrece un almacén de datos que es muy adecuado para ingerir datos sobre ciudadanos de múltiples fuentes. Estas fuentes incluyen departamentos de impuestos, proveedores de atención médica, agentes de la ley, etc. Y Spark también proporciona capacidades para procesar y automatizar la forma en que dichas agencias pueden obtener información de los datos.

La visión de 360 ​​grados de la metodología ciudadana.

Mediante el uso de tecnologías como análisis, ciencia de datos, aprendizaje automático y Spark, la aplicación de la visión de 360 ​​grados de la metodología ciudadana ayuda a transformar la prestación de servicios públicos. Las entidades públicas pueden obtener una visión única y unificada de los ciudadanos al combinar y fusionar información electrónica sobre los ciudadanos en todos los departamentos o agencias. Esta vista unificada desbloquea el poder de los datos de los ciudadanos, lo que le permite transformar los procesos de prestación de servicios públicos:

  • Proceso iterativo: el desarrollo de una vista de 360 ​​grados de los ciudadanos es un proceso iterativo que comienza con las mejores versiones de los perfiles de ciudadanos y los refina con más datos a lo largo del tiempo. Al mismo tiempo, continuamente entrega resultados a las agencias y divisiones relevantes del sector público.
  • Ingestión de datos de series temporales: el aspecto clave de completar los perfiles de ciudadanos es la ingesta de datos granulares de interacción ciudadana de series temporales para determinar cómo se relacionan con las agencias gubernamentales a través de diversos canales, y construir una línea de base para medir mejores resultados.
  • Feeds de datos externos: la vista de 360 ​​grados del perfil ciudadano se puede enriquecer aún más con datos externos y feeds de datos de actividad como clics de sitios web del gobierno, formularios de comentarios, uso de atención médica, departamentos de seguridad, divisiones de transporte, etc. Tradicionalmente, estos datos se mantienen en silos divisionales o departamentales; sin embargo, la vista de 360 ​​grados del ciudadano permite ingerir todos los datos en un solo lugar y darle sentido.
  • Conocimientos de los ciudadanos: la etapa final es obtener conocimientos de los datos de los ciudadanos en los que agencias específicas pueden actuar para brindar un servicio mejorado de alto valor y llegar de manera proactiva a los ciudadanos. Estas ideas pueden incorporarse aún más en la vista de 360 ​​grados del perfil ciudadano junto con un ciclo de retroalimentación y volver al primer paso para construir este perfil.

El camino tecnológico hacia la céntrica ciudadanía.

La aplicación del principio básico del pensamiento centrado en los ciudadanos en el gobierno es directa: cuanto más sepa el gobierno sobre un individuo, mejor podrá servir a esa persona. A su vez, los servicios del sector público pueden ser más receptivos y, en última instancia, ofrecer servicios menos burocráticamente densos a los ciudadanos. La vista de 360 ​​grados de los ciudadanos junto con el aprendizaje automático habilitado por Spark permite un diseño mejorado para los servicios a los ciudadanos. También puede mejorar la evaluación de los beneficios económicos de los programas y esquemas gubernamentales para que sus ciudadanos ayuden a eliminar la brecha entre las necesidades de los ciudadanos y la acción gubernamental.

Sector público: Hadoop, Spark y la visión de 360 ​​grados de los ciudadanos.

Las grandes organizaciones usan big data de muchas maneras. Aquí hay algunos de los que he oído hablar personalmente (desafortunadamente no puedo proporcionar enlaces, ya que estos son principalmente experiencias personales):

  1. Utilice big data para determinar descuentos y precios para ofertas específicas / únicas basadas en la composición y el historial de ofertas anteriores.
  2. Utilice big data para predecir la deserción de clientes para la empresa SaaS. es decir, tenemos 10.000 clientes a principios de este mes que continuarán su suscripción este mes
  3. Predecir qué empleados abandonarán la empresa dentro de un plazo determinado
  4. Varios algoritmos de clasificación, tratando de predecir quién es más influyente en las redes sociales, por ejemplo.
  5. Cuidado de la salud: predecir quién se enfermará y cuándo
  6. Gobierno: Trate de predecir dónde tendrá lugar el próximo ataque terrorista, tiroteo en masa u otros delitos.
  7. Premio Netflix (Premio Netflix): este es un ejemplo clásico de un sistema de recomendación. Según las recomendaciones anteriores, creemos que le gustarán estas otras cosas.

El análisis de Big Data está transformando la toma de decisiones corporativas, empujando a las organizaciones a ser más ágiles y receptivas. Los grandes datos pueden transformar la forma en que los tomadores de decisiones ven los problemas comerciales e informan las decisiones estratégicas, lo que les permite confiar en datos objetivos. Los buenos datos, el análisis sólido y los conocimientos valiosos son críticos para mitigar los riesgos, tomar decisiones estratégicas equilibradas y competir contra los demás. Los análisis de datos grandes brindan información en tiempo real, que debe ser accionada rápidamente para obtener un mejor valor

Si bien la mayoría de las organizaciones grandes se centran correctamente en la creación de infraestructura de análisis y big data, muchas deben transformar simultáneamente sus procesos de toma de decisiones. Una vez que las empresas pueden analizar efectivamente el torrente de información que sus servidores están cosechando, pueden comenzar a adaptar sus actividades a lo que los datos y su comprensión local les dicen que los clientes realmente quieren. Muchas empresas ahora sienten que están al borde de la innovación de modelos comerciales de largo alcance que las tecnologías digitales hacen posible. Pero no están seguros de cuál es la mejor manera de identificar y aprovechar la información contenida en los datos. Puede consultar BlueTalon: la mejor seguridad centrada en los datos para obtener más información.

El análisis de big data se usa actualmente en muchas industrias como la salud, el comercio electrónico, la banca o los recursos humanos, por lo que estamos tratando con big data en la vida cotidiana. Uno de los hospitales en París lo hace bien. Utilizan Big Data para predecir la demanda de su personal, por lo tanto, les da un pronóstico de las tasas de admisión que podrían experimentar en las próximas dos semanas. ¿Qué ganan ellos? Posibilidad de asignar a su personal de la manera más eficiente y ahorrar el presupuesto que se puede asignar para nuevos equipos médicos. Este y ejemplos de otras industrias que puede encontrar en un artículo CÓMO GRANDES DATOS AYUDAN A LAS EMPRESAS A ESCALAR

¡Espero que esto le sea útil!

Hola,

Gracias por hacer la pregunta.

Hoy en día, Big Data está ganando mucha tracción debido a sus aplicaciones revolucionarias que suceden en casi todos los campos. Cada organización está tratando de usar Big Data para mejorar sus procesos internos, comprender mejor a sus clientes, aumentar las ventas y muchas cosas más.

Big Data es utilizado por diversas industrias como el petróleo, el comercio minorista, la música, las redes sociales, el sector eléctrico y muchos otros.

Por lo que he visto, la mayoría todavía está tratando de entender a sus clientes. Hasta la venta y la retención vendrán más tarde. Las herramientas que solían usar tenían un largo tiempo a bordo y una alta rotación de personal significa que realmente no aprendes nada. Por lo tanto, están abiertos a herramientas de nueva generación que pueden reducir el tiempo de aprendizaje. Las corporaciones más antiguas con personal de alta permanencia utilizan nuevas herramientas de generación para aumentar la resolución de su antigua segmentación.

More Interesting

¿Cuál es la diferencia entre una maestría en análisis de negocios y big data y una maestría en ciencia de datos? ¿Qué habilidades necesitas dominar para cada uno?

¿Qué tan necesario es una comprensión profunda de la computación paralela para un científico de datos?

¿Cómo puedo seguir una carrera en seguridad de datos?

¿Puede un chico con cero experiencia en codificación, pero con un MBA terminado, superarlo si está muy interesado en aprender ciencia de datos?

¿Qué herramientas hay para automatizar la ciencia de datos?

Cómo agrupar la bandera de un conjunto de datos

¿Cuáles son las definiciones de 'experimento, prueba, replicación, repetición, datos, mediciones' en estadística?

¿Cuál es la mejor universidad para la maestría en ciencias de datos en Australia?

¿Cómo se puede utilizar la realidad virtual para enseñar ciencia de datos de manera más eficiente?

¿Qué se entiende por aprendizaje automático y el futuro de la ciencia de datos en la India?

¿Cuáles son algunos problemas de aprendizaje automático que se resolvieron con soluciones generativas en lugar de soluciones discriminatorias?

¿Por qué las personas almacenan grandes datos utilizando buffers de protocolo (o equivalente)?

¿Cuáles son los pros y los contras de una carrera en finanzas cuantitativas en comparación con una carrera en ciencia de datos para personas con antecedentes en física / matemáticas?

¿Cuáles son las aplicaciones de la ciencia de datos y el aprendizaje automático en las industrias de petróleo y gas?

Cómo convertirse en ingeniero de aprendizaje automático