¿Cómo aportamos el tipo de credibilidad a nuestra implementación y análisis de big data que disfrutan las prácticas tradicionales de gestión de la información basadas en modelos canónicos?

Creo que debería leer mi respuesta: ¿Cuál es el significado de los derivados de datos en el contexto de big data?

Además, te daré un ejemplo. Tuve un problema similar mientras trabajaba en un conjunto de datos de Aerolíneas y tuve que predecir los retrasos de un vuelo en particular.

El conjunto de datos consta de varias etiquetas de datos que incluyen: hora de llegada, hora de salida, código del aeropuerto, distancia recorrida, clima, incluida la presión del aire, precipitación y temperatura, etc.

Entonces, en este caso, si aplico directamente el algoritmo de aprendizaje automático en los datos, obtendré resultados vagos porque debería saber si eso puede ser bastante impredecible. Esto también se puede determinar mirando las diferentes columnas. Las columnas que producen los valores más variables deben ser rechazadas.

De esta manera, la inteligencia humana y el sentido común deben aplicarse. Los modelos Big Data en sí mismos no pueden predecir resultados precisos.

¡Gracias por A2A!

Si está haciendo un análisis sin comprender los datos, lo está haciendo mal. Lo más útil que puede hacer con Big Data es procesarlo y extraer información significativa de él. Una vez que tenga características relevantes, puede aplicar cualquier modelo y hacer predicciones. Pero créame, es difícil que alguien le sugiera que aplique modelos a ciegas en los datos sin comprenderlos. Un buen profesional de Data Science sabría la diferencia entre correlación y causalidad y, por lo tanto, definitivamente no encajaría demasiado en un modelo.

Supongo que los otros dos solo dieron la respuesta: aplicar lógica para lo que sea que hagas, simplemente aplicar algoritmos no significa ciencia de datos / análisis. Data Science / Analytics es una especie de back-end para su pensamiento, con una buena capacidad computacional.