Puede modificar su función de costo para penalizar soluciones donde el coeficiente / parámetro correspondiente es muy diferente del dado; una regularización de todo tipo.
Dicho simplemente:
Sea w ^ i el coeficiente dado y wi el parámetro correspondiente en su ecuación lineal.
- ¿Cómo es relevante el big data para CRM?
- ¿Cuáles son los logros de Yahoo en el campo de Big Data?
- Cómo resolver errores de E / S de Linux sin reiniciar
- ¿Es bueno aprender a almacenar datos?
- ¿Qué significa "casi todas las herramientas de software estadístico disponibles para los científicos alientan el modelado paramétrico y, por lo tanto, el diseño de experimentos basados en suposiciones sobre la distribución de datos que están equivocados"?
Nueva función de costo = Suma de cuadrados de errores / residuos + ∆ (wi – w ^ i) ^ 2,
Donde ∆ es un hiperparámetro. De alguna manera significa cuán estricto debería ser su algoritmo en la aplicación de la condición dada, cuanto mayor sea el valor de ∆, más descenderá el gradiente e intentará obtener soluciones donde wi esté más cerca de w ^ i. (Recuerde que esto es una compensación. Un valor demasiado alto de ∆ y puede obtener soluciones con grandes errores).
Diferencie eso para obtener la nueva regla de actualización de parámetros y use la versión modificada para aplicar el descenso de gradiente.
Puede experimentar con diferentes costos, como la norma l1.
Existen otros métodos que no implican agregar un término de penalización a su función de costo.
El descenso en gradiente en Google con restricciones de igualdad debería tener algo.