Primero defina lo que quiere decir con “precisión” y luego obtenga más muestras de prueba.
Por lo general, tenemos que distinguir entre precisión positiva y negativa y también considerar la recuperación o F1. Por ejemplo, si mis 100 muestras de datos de prueba constan de 82 positivos y 18 negativos, puedo construir un clasificador de regresión logística bastante rápido que sea 82% exacto simplemente generando un 1. Simplemente estableceré la intercepción [matemáticas] \ beta_0 [/ math] a algo grande para que [math] \ frac {1} {1 + e ^ – \ beta_0} [/ math] esté cerca de 1. Podrías llegar a esta conclusión observando tus muestras de entrenamiento, pero podrías También observe su intercepción y coeficientes. Esto me lleva a mi primer punto:
- Comprenda las implicaciones que su intercepción y coeficientes tienen en sus datos
Puede distinguir mucho de los datos simplemente mirando los coeficientes. Esto se debe a que la regresión logística conserva las probabilidades marginales en su distribución en los coeficientes. También puede detectar cuándo los parámetros exhiben una alta correlación.
- ¿Es el "grado de libertad" en el aprendizaje automático igual al número de variables independientes o el número de parámetros?
- ¿Cuál es el mejor modelo de predicción de la siguiente palabra en R?
- ¿Cómo se pueden adaptar los sistemas de recomendación para recomendar elementos que atraigan a todos en un grupo, en lugar de a un solo individuo?
- Cómo encontrar la correlación más fuerte entre los vectores de colores a continuación en MATLAB o Python
- ¿Cuáles son los trabajos más gratificantes para quienes desean trabajar en el aprendizaje profundo?
Una vez que tenga una mejor medición del poder predictivo, y esté seguro de que sus datos se eligen IID, represente bien a la población y esté relativamente libre de multicolinealidad, la desigualdad de Hoeffding le dará un límite superior muy flojo en su error de generalización:
[matemáticas] P (S_n – E [S_n] \ geq \ epsilon) \ leq e ^ {- 2n \ epsilon ^ 2} [/ matemáticas]
Por lo tanto, si desea más confianza, debe disminuir sus expectativas de lo que es aceptable o aumentar. También digo que esto es un límite superior suelto porque, en términos prácticos, si la variación de sus datos es relativamente pequeña, es posible que necesite menos muestras para tener un nivel razonable de confianza con el que pueda dormir bien. Aquí hay un código de Python si desea calcular cuántas muestras necesitará:
matemáticas de importación
f = confianza lambda, probabilidad: 1 / (2 * (confianza) ** 2) * math.log (2.0 / (1.0-probabilidad))
# Quiero estar 90% seguro de que la diferencia medida entre la precisión de la prueba y la precisión verdadera no es más de 0.1
f (0.1, 0.9) # = 149.78 ~ = 150 muestras
# Quiero estar 95% seguro de que la diferencia medida entre la precisión de la prueba y la precisión verdadera no es más de 0.05
f (0.05, 0.95) # = 737.77 ~ = 738 muestras
# Quiero estar 95% seguro de que la diferencia medida entre la precisión de la prueba y la precisión verdadera no es más de 0.01
f (0.01, 0.95) # = 18444.39 ~ = 18,445 muestras
# Quiero estar 99% seguro de que nuestro error está dentro del 1%
f (0.01, 0.99) # = 26491.58 ~ = 26,492 muestras
