Cómo verificar la calidad de las estadísticas de Internet y los datos de investigación que uso en mis respuestas

Para ser claros, creo en la ciencia . El método científico es la mejor herramienta que tenemos para confirmar nuestra comprensión del mundo. Por diversas razones, los estudios de investigación no concluyentes y erróneos se presentan como un hecho. Desafortunadamente, esto hace que sea difícil confiar ciegamente en los científicos para que nos digan qué es verdad o no.

En los últimos años, me encontré en debates que se basan en estudios producidos por investigadores. Al menos en mi experiencia, estos estudios a menudo me son transmitidos por personas que no son ni científicos ni estadísticos, personas que buscan pruebas en Google que respalden su perspectiva sin validar lo que encuentran. No creo que esto se haga intencionalmente, creo que se debe a la fe ciega de la sociedad en la ciencia: si un científico lo dijo, debe ser cierto, ¿verdad?

Aquí está el problema con eso:

Estudios científicos: la semana pasada esta noche con John Oliver (HBO)

¿Cuánto se puede confiar en la investigación científica? (una entrevista con los creadores del sitio Retraction Watch)

Preguntas para hacer antes de transmitir la investigación:

Para ayudar a las personas que transmiten ciegamente la investigación científica (y ayudarme a hablar con ellos), decidí armar esta lista de preguntas que las personas pueden hacerse para confirmar su comprensión de la investigación. Hasta que se respondan estas preguntas, no tiene sentido hablar sobre los hallazgos.

  1. ¿Cuál es el argumento específico que estás tratando de hacer?
  2. ¿Leíste completamente los documentos de investigación a los que se hace referencia?
  3. ¿Qué páginas / párrafos de la investigación corresponden al argumento presentado? (Probablemente no voy a leer el documento de 50–100 páginas que encontraste hasta que pruebes que lo has leído ).
  4. ¿Es su argumento una declaración directa de la investigación o una interpretación de la investigación?
    1. ¿Estás calificado para hacer la interpretación?
  5. ¿Las declaraciones que desea hacer sobre la población “X” están respaldadas por datos del grupo de muestra “Y”?
  6. ¿Se han replicado los resultados?
  7. BONIFICACIÓN : ¿Es el autor de la investigación un experto en la materia?
  8. BONIFICACIÓN : ¿El autor de las estadísticas está calificado para hacer el análisis estadístico en cuestión?

Estándares para la calidad de los datos :

También decidí encontrar documentos que describan cómo se ven los datos de calidad. No espero que quienes transmiten la investigación sean expertos en los datos, pero es importante darse cuenta de que si no sabemos nada acerca de cómo se seleccionaron, recopilaron, corrigieron, almacenaron los elementos de datos, etc., realmente no podemos juzgar La calidad de la investigación.

  1. “La Oficina de Estadísticas Laborales de los Estados Unidos ha emprendido un proyecto para definir un marco de calidad para sus cuatro programas de precios”. – http://www.bls.gov/osmr/pdf/st14…
  2. “Se ha realizado una gran cantidad de investigación en la preparación y actualización de las siguientes pautas para garantizar que promuevan los altos estándares de calidad estadística esenciales en el Reino Unido y en toda Europa y que reflejen la agenda de calidad de otras importantes instituciones nacionales de estadística en todo el mundo “. – http://unstats.un.org/unsd/dnss/…
  3. “En una serie de discusiones, que comenzaron en 1995, que examinaron el suministro de datos al Fondo, la Junta Ejecutiva señaló que era imprescindible para el FMI, así como para los países miembros, mejorar la calidad de los datos utilizados en el análisis de políticas. “- https://www.imf.org/external/np/…
  4. “Los datos de alta calidad son la condición previa para analizar y utilizar big data y para garantizar el valor de los datos. Actualmente, se carece de un análisis e investigación exhaustivos de los estándares de calidad y los métodos de evaluación de calidad para big data. ”- Data Science Journal

Infografía:

En el sitio: Interés Compuesto – Gráficos varios Encontré la siguiente infografía

Video de bonificación:

¿La investigación más publicada es incorrecta?

Mi enfoque será no utilizar ninguno de Internet en mis propios estudios, a menos que sepa con certeza que es de una organización estadística o de investigación de renombre y ha pasado por rigurosas revisiones y revisiones por pares. No todo en Internet se edita o revisa. Es más seguro usar libros, documentos o revistas publicados con una junta editorial existente.

Estoy de acuerdo, hay mal uso de las estadísticas todos los días. Pero, los profesionales responsables no caen en eso.