Terminologías
[math] \ beta [/ math] = Parámetros
X = Variables independientes
- ¿Puede Quora generar un patrón para el futuro de las personas con sus respuestas y preguntas?
- ¿Alguna vez has observado que la normalización por lotes en realidad ralentiza el entrenamiento?
- ¿Cómo lidiamos con conjuntos de datos muy grandes que no caben en la RAM?
- Cómo tener una buena inicialización de la probabilidad previa, la probabilidad de emisión en los modelos ocultos de Markov ya que los HMM son óptimos locales
- ¿Vale la pena desarrollar un algoritmo de minería de datos más rápido que otros de código abierto y comerciales existentes? Si vale lo suficiente, ¿qué valor tiene ser el algoritmo más rápido?
Y = variable dependiente
SSE = Suma de error cuadrado
Regresión lineal
La ecuación de regresión es lineal cuando es lineal en los parámetros.
Regresión lineal: [matemática] Y = \ beta_0 + \ beta_1 * X_1 [/ matemática]
Regresión lineal: [matemática] Y = \ beta_0 + \ beta_1 * X_1 ^ 2 [/ matemática]
SSE es una función convexa para regresión lineal. Entonces, podemos encontrar una ecuación de forma cerrada para ella.
¿Cómo la función SSE es convexa?
[matemáticas] SSE = (y – X \ beta) ^ 2 [/ matemáticas]
[matemáticas] SSE = y ^ {2} – 2 y ^ {T} X \ beta + \ beta ^ {T} X ^ {T} X \ beta. [/ math]
[math] \ dfrac {\ partial ^ 2 SSE} {\ partial \ beta ^ 2} = X ^ TX [/ math]
[matemática] X ^ TX [/ matemática] es una matriz semi-definida positiva.
Regresión no lineal
La ecuación de regresión no es lineal cuando no es lineal en el parámetro. Hay diferentes formas de función no lineal.
Algunos ejemplos de funciones no lineales:
Potencia: [matemáticas] Y = \ beta_1 * X ^ {beta_2} [/ matemáticas]
Weibull: [matemáticas] Y = \ beta_1 + (\ beta_2- \ beta_1) * e ^ {- \ beta_3 * X ^ \ beta_4} [/ matemáticas]
Fourier: [matemáticas] Y = \ beta_1 * cos (X + \ beta_4) + (\ beta_2 * cos (2 * X + \ beta_4) + \ beta_3 [/ matemáticas]
La función SSE en regresión no lineal puede no ser convexa como regresión lineal. Por lo tanto, no es posible encontrar una ecuación de forma cerrada para calcular el valor de los parámetros. También tiene múltiples mínimos locales. Por lo general, el algoritmo de optimización numérica se aplica para determinar los parámetros de regresión no lineal.
