Cuanto mayor sea el número de parámetros en un sistema, mayores serán las posibilidades de sobreajuste. Si tiene 1 millón de parámetros, hay muchas más posibilidades de sobreajuste que si tiene 10. ¿Por qué? Porque la probabilidad de encontrar una hipótesis que explique los datos de manera sobreajustada en 10 dimensiones es mucho menor. Obviamente, si desea ser deliberadamente sangriento al respecto, podría crear un algoritmo que se ajuste demasiado incluso si tuviera dimensiones más bajas, pero suponiendo que deseara optimizar el rendimiento, es poco probable.
Los modelos de regresión logística tienen muy pocos parámetros. En general, si su vector de entrada es n, entonces el modelo de regresión logística tendrá n + 1 parámetros.
Por supuesto, como siempre en el aprendizaje automático, no hay almuerzo gratis. La representación compacta significa que no puede representar conceptos complejos. Como ejemplo, no puede representar XOR en una regresión logística.
- ¿Son las redes aditivas recurrentes universalmente mejores que las LSTM y GRU?
- ¿Qué es una red neuronal bayesiana?
- ¿Qué significa ‘regresión’ en estadística y aprendizaje automático?
- ¿Es posible comenzar la investigación académica en matemáticas / aprendizaje automático sin la ayuda de un asesor? Está ocupado con su propuesta de subvención.
- ¿Cuáles son las aplicaciones del aprendizaje profundo en la India?
