Cómo cuantificar la cantidad de ruido en un conjunto de datos

El ruido surge cuando tienes un modelo subyacente, de lo contrario no podrás distinguir entre ruido y señal.

Como ejemplo, puede ver una función de efecto mixto lineal simple: tamaño = edad * 10 cm

Cuando ajuste su modelo a estos datos en r u otro programa estadístico, verá qué tan bien su modelo se ajusta a los datos, y un parámetro para el ruido podría ser “variación no explicada por su modelo”. Aparte de eso, incluso puede incluir factores aleatorios, mejor descritos como “ruido o variación explicada por un cierto factor”, como los individuos per se o el género, ya que los individuos difieren en tamaño y las mujeres son generalmente más pequeñas en comparación con los hombres.

Además de lo anterior, también hay ruido “fijo”, como otro factor que siempre suma una cantidad similar. Por ejemplo, si desea medir una bombilla bajo la luz solar directa, la función será luz total = sol + bombilla. En este caso, debe restar la luz solar de ruido fijo para obtener su resultado.

Como puede ver, el ruido es bastante subjetivo. No tome esta respuesta como referencia, porque esta es solo mi opinión personal sobre el ruido, probablemente diferente de una explicación científica directa sobre cómo medir el ruido.

No hay una respuesta general a esto, incluso para una sola variable, y mucho menos para un conjunto de datos completo.

De hecho, una forma de ver gran parte de la práctica de las estadísticas es como un intento de separar la señal del ruido. Pero cómo hacerlo depende de lo que tenga y de lo que intente hacer.

Por ejemplo, suponga que tiene una variable cuantitativa medida repetidamente a lo largo del tiempo. Para ser concreto, digamos que es el peso medido en una balanza ordinaria. Pero … ¡eso todavía no es suficiente detalle!

¿Me pesé una vez al día? ¿Una vez por semana? ¿5 veces seguidas?

El último caso es el más simple. Entonces usemos eso. Bueno, aquí podríamos decir que el ruido se mide por la desviación estándar de los pesos, o la desviación absoluta media o el rango de th … o un montón de otras medidas también. ¿Y qué hay del sesgo? ¿Supongamos que la escala no solo es inexacta (todas las escalas lo son) sino que también está sesgada? ¿Es ese ruido? Depende de su definición de “ruido”.

Si me peso una vez al día, puede haber una tendencia. Pero … esa tendencia puede ser, en sí misma, ruido. Entonces, podría proceder como se indica arriba o … podría ajustar un modelo a las medidas y ajustar una línea de tendencia (de diversa complejidad) y medir la desviación de eso.

Pero … ¿qué pasa si N personas se pesan, cada una con una tendencia? Es posible que se ajuste a un modelo multinivel.

Y así.

Y eso es para una variable. ¿Y qué hay de las variables cuantitativas?

Entonces, TL: DR: tome una docena de cursos de estadísticas para aprender cómo hacer esto.