¿Cómo evaluaría la calidad de los datos y cómo se pueden mejorar?

Siempre hay una desconexión entre cómo queremos que sean nuestros datos y cómo resultan realmente. Cuando hablo sobre la calidad de mis datos, a menudo se refiere a qué tan lejos está realmente esta desconexión. Los datos de baja calidad a menudo son datos que no esperaba y no puedo ver el uso de. Dicho esto, como ya se mencionó, los datos son como el salvaje oeste. Viene como viene, a veces a través de la anarquía. Puede intentar proporcionar tanta estructura en sus datos como sea posible, pero si se trata de datos provenientes de cosas que pueden pensar de manera variable (como humanos versus sensores), entonces puede estar seguro de que la desconexión entre los datos espera usar y los datos que recibas serán bastante amplios.

Dicho esto, mejorar los datos puede ser de diferentes maneras. La reacción más fácil e intuitiva para mejorar los datos es hacer que se parezca más a lo que esperaba. Esto se puede hacer de varias maneras y estoy seguro de que hay muchas herramientas. Por ejemplo, puede combinar sus datos y utilizar solo los puntos de datos que se ajusten a sus expectativas para empezar. También podría “limpiar” todos sus datos y transformarlos para que se ajusten mejor a sus expectativas originales. Puede hacer una combinación de los dos anteriores y luego agregar los datos “falsos” para que sus distribuciones se parezcan más a las distribuciones. Los beneficios de hacer todo esto es que tenía expectativas sobre sus datos por una razón. Esa razón generalmente se deriva de las herramientas que espera usar más adelante para analizar sus datos, y seamos sinceros. Es mucho más fácil mejorar nuestros datos para nuestras herramientas, que mejorar nuestras herramientas para nuestros datos. Hay un momento y un lugar para ambas situaciones, mi consejo es elegir sabiamente tus batallas.

Pero hay algo que decir sobre los datos sin procesar a medida que ingresan. Y aunque solo somos humanos, no somos completamente incapaces de notar anormalidades interesantes que conducen a preguntas más interesantes y, por lo tanto, respuestas más interesantes.