El proceso de refinación de datos puede estar compuesto por muchos subconjuntos diferentes dependiendo de la implementación de la base de datos o el almacenamiento de datos. El proceso de refinación de datos es uno de los aspectos más importantes del almacenamiento de datos porque los datos no refinados pueden causar un gran desastre en el resultado estadístico final del almacén de datos que luego será utilizado por la inteligencia comercial de una empresa.
El refinamiento de datos no se aplica a un aspecto particular de la implementación del almacén de datos. De hecho, se aplica a las muchas etapas, desde la planificación hasta el modelado de datos, hasta la integración final de sistemas en el almacén de datos y el funcionamiento de todo el sistema de inteligencia empresarial.
Comenzando con el modelado de datos, el refinamiento de datos ocurre cuando en el desarrollo del esquema conceptual, se describe la semántica de la organización. Todas las clases y relaciones de entidades abstractas se identifican y se aseguran cuidadosamente de que las entidades se basen en eventos y actividades de la empresa de la vida real. En este caso, el refinamiento de datos entra en acción pero elimina las cosas innecesarias que interesan. Lo mismo ocurre durante el desarrollo del esquema lógico donde se describen las tablas y columnas, las etiquetas XML y las clases orientadas a objetos y el refinamiento de datos asegura que las estructuras para contener los datos estén bien definidas.
- ¿Qué significa exactamente la ciencia de datos?
- ¿Qué tipo de métodos de ciencia de datos se pueden aplicar a los datos de tráfico web?
- ¿Por qué la mayoría de los científicos computacionales (p. Ej. Biólogos, astrofísicos) son malos programadores según los estándares de CS?
- ¿Cuáles son algunos de los desafíos que enfrentan las personas cuando pasan de la academia a la ciencia de datos?
- ¿Tengo la oportunidad de trabajar en San Francisco como científico de datos?
Un modelo de entidad-relación (ERM) es una técnica de modelado de datos donde se define una representación de datos estructurados y el refinamiento de datos es muy importante. Esta es una etapa en el diseño del sistema de información donde se utilizan modelos para describir las necesidades de información o el tipo de información que se almacenará en una base de datos durante el análisis de requisitos. Se asegura de que los datos no sean redundantes y se mantenga la integridad de la relación para que cualquier proceso de inserción, eliminación o actualización se pueda administrar fácilmente sin sacrificar la calidad final de los datos por la integridad rota. En este aspecto, los datos se refinan asegurándose de que todas las relaciones entre las entidades y los atributos correspondientes sean seguras y precisas.
El refinamiento de datos también tiene lugar durante la normalización de la base de datos, técnica utilizada en el diseño de tablas de bases de datos relacionales para minimizar la duplicación de información. Como resultado, la base de datos está protegida contra ciertos tipos de inconsistencias lógicas.
En la minería de datos, hay un proceso llamado masaje de datos. Este proceso se usa para extraer valores de los números, estadísticas e información que se encuentran dentro de una base de datos y para predecir lo que un cliente hará a continuación. La minería de datos funciona en varias etapas, comenzando con la recopilación de datos, luego el refinamiento de los datos y la acción final. La recopilación de datos puede ser la recopilación de información para bases de datos y registros del sitio web. El refinamiento de datos implica comparar los perfiles de los usuarios con el comportamiento registrado y dividir a los usuarios en grupos para poder predecir los comportamientos. La acción final es la acción apropiada tomada por el proceso de minería de datos o la fuente de datos y esa acción es responder una pregunta sobre la marcha o enviar anuncios publicitarios en línea a un navegador o cualquier otra aplicación de software que se esté utilizando.
