¿Qué acciones técnicas y contractuales puede tomar el gerente de proyecto en caso de corrupción de datos durante la migración de datos?

Supongo que el objetivo del gerente de proyecto es una migración exitosa de datos.

La pregunta puede relacionarse con dos situaciones:

  1. Hay corrupción de datos en los datos antes de la migración (la fuente)

    Técnico:
    – determine un procedimiento que pueda determinar si los datos son correctos o corruptos
    – validar los datos antes de que tenga lugar la migración

    Contractual:
    – ponga una declaración en el contrato de que la migración se ejecutará bajo la condición de que los datos de origen no estén corruptos.
    – si los datos están corruptos, primero deben repararse (fuera del alcance del proyecto de migración)

  2. Hay corrupción de datos en los datos después de la migración (el objetivo)

    Técnico:
    – Asegúrese de que los datos que se migran sean correctos (consulte el paso 1 anterior)
    – Ejecute pruebas exhaustivas para asegurarse de que los datos se migren correctamente
    – Validar los datos después de que la migración haya tenido lugar
    – Asegúrese de que haya una copia de seguridad de los datos antiguos (por ejemplo, en forma de copia de seguridad), hasta que el cliente haya aceptado completamente los datos migrados (ver más abajo)

    Contractual:
    – Asegúrese de que el cliente sea el responsable de validar los datos migrados
    – Entonces, durante la migración, el proyecto realiza las pruebas y la validación para asegurarse de que los datos se hayan migrado correctamente, pero finalmente los datos migrados se entregan y el cliente tiene que aceptarlos. Durante esa fase se pueden encontrar errores y se pueden reparar. Pero una vez que los datos han sido completamente aceptados, es responsabilidad del cliente cuando se producen errores para corregirlos / repararlos

Espero que esto responda tu pregunta.

La migración de datos es una actividad técnica en un sentido: alguien tiene que asignar los datos antiguos a los nuevos, abordar lo que debería suceder técnicamente cuando no hay mapeo y trabajar con la empresa para identificar soluciones a los problemas encontrados cuando el mapeo directo no proporcionar los resultados requeridos Y, por supuesto, alguien debe escribir código para realizar la migración en función de las reglas configuradas, probar el código a fondo y ejecutarlo en modo “producción”. Asegurarse de que todos los datos se transfieran es otra responsabilidad de un rol técnico. Esto se puede hacer con recuentos y totales de hash para asegurarse de que los resultados de la base de datos anterior sean los mismos que los resultados de la nueva base de datos.

Pero también hay un aspecto comercial completo en la migración de datos que una persona técnica solo puede aconsejar cuando se identifican agujeros en los datos de destino. Por ejemplo:

¿Qué sucede si hay nuevos datos en la base de datos de destino que simplemente no existen en la base de datos de origen? ¿Debería dejarse en blanco? ¿Debería rellenarse con un valor predeterminado? ¿O se requiere otra pieza de código para examinar otros datos relacionados para decidir cómo poblarlo?

¿Qué sucede si los datos de origen no están en la tercera forma normal, y separarlos para normalizarlos para la base de datos de destino puede causar situaciones en las que, por ejemplo, no se puede diferenciar el nombre del apellido porque era de forma libre en el sistema antiguo y no hubo controles y saldos para asegurarse de que el nombre era el primero y el último segundo? ¿Requiere intervención manual de alguien que sepa?

Lo mismo puede decirse de las direcciones, a menudo ingresadas en forma libre en sistemas heredados, pero analizadas en sus partes constituyentes en una base de datos actualizada y bien diseñada. Y hay muchos otros ejemplos de dónde puede ser necesaria la intervención del cliente y la revisión manual.

Eso es un poco técnico y comercial. El grado de rigor requerido para la verificación que se requiere puede diferir según los datos en sí. Por ejemplo, si se trata de una aplicación financiera y hay dinero y otras figuras involucradas, o si hay vidas humanas en juego, el rigor requerido será muy alto. Si se trata de un dato no consecuente, por ejemplo, si no puede determinar el color de un objeto porque está incrustado en los comentarios, y el esfuerzo requerido para intervenir manualmente es demasiado alto, o tal vez pueda corregirse como los errores se encuentran después de la implementación porque es fácil hacerlo, y la incidencia de errores será baja, tal vez simplemente lo deje pasar y no intente detectar todos esos errores.

En el aspecto contractual, no dijo si era el cliente o el contratista. En cualquier caso, se requiere protección. Desde el lado del cliente, desea asegurarse de que todos los procesos de conversión de datos se sigan diligentemente para aumentar la probabilidad de una implementación exitosa. Si está del lado del contratista, debe asegurarse de no responsabilizarse por los datos erróneos cuando la intervención del cliente se identificó como la única opción, e intervinieron incorrectamente, o no lo hicieron en absoluto. Pero como contratista, usted es responsable de planificar la conversión de datos con su equipo técnico y de clientes y asegurarse de que se ejecute correctamente.

Espero que esto ayude.

Esto suena como una relación de confrontación entre el PM (¿cliente?) Y el equipo de migración de datos (¿vendedor?). Si es así, no debería ser así.

“Corrupción de datos” es un término que podría significar muchas cosas diferentes para diferentes personas. Podría haber un error en la fuente (es decir, el proveedor de los datos está enviando los datos incorrectos en relación con lo que el consumidor espera), error en el destino (es decir, el consumidor está esperando los datos incorrectos en relación con lo que el proveedor está enviando) o error en la traducción, también conocido en algún punto intermedio (es decir, un intermediario / traductor de datos entre el origen y el destino hizo algunas suposiciones erróneas).

En cualquier caso, el error, AND THE BLAME, a menudo se encuentra en más de un lugar , al menos parcialmente.

More Interesting

¿Cómo es trabajar como científico de datos en Walmart Labs?

¿Cuál es la mejor manera de aprender ciencia de datos sin ir a una institución?

Cómo aprender SAS o R por mí mismo

Cómo comenzar en ciencia de datos

Para el análisis de datos, ¿cuál es mejor, SAS o Hadoop? Soy ingenuo en la programación pero estoy pensando en darle una oportunidad.

¿Por qué las personas almacenan grandes datos utilizando buffers de protocolo (o equivalente)?

¿Existe una buena biblioteca para los algoritmos de detección de deriva conceptual?

¿Qué tipo de programa de maestría es mejor para la ingeniería de datos?

En el aprendizaje automático, si no sé mucho sobre la corrección de lo anterior, ¿puedo tratar de corregir el modelo a través de grandes cantidades de datos de entrenamiento?

¿Qué tan buenas serán las oportunidades si agrego habilidades / conocimientos adquiridos por CFA-I además de mis habilidades básicas de análisis de datos?

Entre la maestría en análisis predictivo en Northwestern y la maestría en análisis de datos en la Universidad de Chicago, ¿cuál es mejor?

Soy un recién graduado en ingeniería industrial, ¿cómo comienzo mi camino en ciencia de datos para la cadena de suministro?

¿Cuál es el mejor MOOC para comenzar en Data Science?

¿Cuáles son algunos buenos problemas con los juguetes (un solo codificador puede hacer durante un fin de semana) en ciencia de datos? Estoy estudiando el aprendizaje automático y las estadísticas, y estoy buscando algo socialmente relevante utilizando conjuntos de datos / API disponibles públicamente.

¿Cuál es la diferencia entre el almacenamiento de datos, la minería de datos y el análisis de datos?