¿Es el “grado de libertad” en el aprendizaje automático igual al número de variables independientes o el número de parámetros?

Permítanme explicar esto usando el ejemplo de una distribución Multinomial. Esta distribución se puede explicar usando el caso de una bolsa que contiene n bolas de k diferentes colores. Desea encontrar la distribución de probabilidad conjunta de X1, X2, … Xk, que son variables aleatorias que indican el número de bolas que caen en las categorías de color de 1,2, … k respectivamente.

Notará que necesita parámetros para este modelo. Los parámetros del modelo son entonces n, p (1), p (2), …, p (k), donde p (i) denota la probabilidad de que una pelota tenga el i-ésimo color (i = 1, 2, … , k) yn denota el número total de bolas.

Aquí hay algunas restricciones sobre los valores de p (i). Son :

• Cómo construir una aplicación de predicción de flujo de efectivo personal con extractos bancarios utilizando el aprendizaje automático
• ¿Para qué sirve el aprendizaje automático o la inteligencia artificial?
• ¿Qué significa realmente el valor semilla en el algoritmo de aprendizaje automático?
• ¿Cuál es el propósito de usar la variable slack en SVM?
• ¿Dónde puedo encontrar corpus de texto médico en inglés para entrenar mis datos?

1. p (i)> 0, para todo i = 1, 2, … k.
2. Suma (p (i)) = 1, sobre todos los i.

Debido a la segunda restricción, generalmente tomamos una forma no singular de la distribución con los parámetros p (1), p (2), …, p (k-1) para hacer que los parámetros formen un conjunto linealmente independiente. p (k) se puede escribir como

p (k) = 1 – Suma (de 1 a k-1) p (i), para i = 1, 2, …, k-1.

Una estadística (una función de las variables), basada en los parámetros p (i) tendrá k-1 grados de libertad.

En general, si hay una variable aleatoria X que es una función de ‘n’ otras variables aleatorias, y hay una ‘p’ cantidad de restricciones en las variables, entonces X tendrá np grados de libertad.

Puede usar la intuición para tener una sensación de grados de libertad. En el aprendizaje automático, puede tomar los grados de libertad como el número de variables independientes menos el número de restricciones sobre esas variables.