El análisis de datos es un proceso de aplicación de estadísticas para organizar, representar, describir, evaluar e interpretar datos. El proceso de evaluación de datos utilizando razonamiento analítico y lógico para examinar cada componente de los datos proporcionados. Los datos de varias fuentes se recopilan, revisan y luego se analizan para formar algún tipo de hallazgo o conclusión. Existe una variedad de métodos de análisis de datos específicos, algunos de los cuales incluyen minería de datos, análisis de texto, inteligencia de negocios y visualizaciones de datos.
Proceso de análisis de datos: –
El proceso de análisis comienza con la recopilación de datos, en el que los científicos de datos identifican la información que necesitan para una aplicación de análisis en particular y luego trabajan por su cuenta o con ingenieros de datos y personal de TI para reunirla para su uso. Es posible que sea necesario combinar los datos de diferentes sistemas de origen mediante rutinas de integración de datos, transformarlos en un formato común y cargarlos en un sistema de análisis, como un clúster Hadoop, una base de datos NoSQL o un almacén de datos.
- ¿Es la ciencia de datos un tema extremadamente aburrido?
- ¿Qué es el suavizado de datos y cómo puedo usarlo en ciencia de datos / minería?
- ¿Puedo obtener un trabajo de ciencia de datos después de completar el curso de certificación junto con un proyecto en él?
- ¿Quiénes son las mujeres en ciencia de datos?
- ¿Cuál es la diferencia entre ETL y Data Warehouse / Data Warehousing?
Una vez que los datos que se necesitan están en su lugar, el siguiente paso es encontrar y corregir problemas de calidad de datos que podrían afectar la precisión de las aplicaciones de análisis. Eso incluye ejecutar trabajos de creación de perfiles y limpieza de datos para asegurarse de que la información en un conjunto de datos sea coherente y que se eliminen los errores y las entradas duplicadas.
En ese punto, el trabajo de análisis de datos comienza en serio. Un científico de datos crea un modelo analítico, utilizando herramientas de modelado predictivo u otro software de análisis y lenguajes de programación como Python, Scala, R y SQL. El modelo se ejecuta inicialmente contra un conjunto de datos parcial para probar su precisión; por lo general, luego se revisa y se prueba nuevamente, un proceso conocido como “capacitación” del modelo que continúa hasta que funciona según lo previsto. Finalmente, el modelo se ejecuta en modo de producción contra el conjunto de datos completo, algo que se puede hacer una vez para abordar una necesidad de información específica o de forma continua a medida que se actualizan los datos.
Lee mas…
