¿Por qué la regresión logística se considera un modelo lineal?

La respuesta corta es: la regresión logística se considera un modelo lineal generalizado porque el resultado siempre depende de la suma de las entradas y los parámetros. O, en otras palabras, ¡la salida no puede depender del producto (o cociente, etc.) de sus parámetros!

Entonces, ¿por qué es eso? Recapitulemos primero los conceptos básicos de la regresión logística, que con suerte aclarará las cosas. La regresión logística es un algoritmo que aprende un modelo para la clasificación binaria. Un buen efecto secundario es que nos da la probabilidad de que una muestra pertenezca a la clase 1 (o viceversa: clase 0). Nuestra función objetivo es minimizar la llamada función logística Φ (un cierto tipo de función sigmoidea); se parece a esto:

Ahora, si Φ (z) es mayor que 0.5 (alternativamente: si z es mayor que 0), clasificamos una entrada como clase 1 (y clase 0, de lo contrario). Aunque la regresión logística produce una superficie de decisión lineal (ver el ejemplo de clasificación en la figura a continuación), esta función logística (activación) no se ve muy lineal, ¿verdad?

Entonces, profundicemos un poco más y echemos un vistazo a la ecuación que usamos para calcular la entrada neta z .

La función de entrada neta es simplemente el producto escalar de nuestras características de entrada y los respectivos coeficientes del modelo w:

Aquí, x_0 se refiere al peso de la unidad de polarización que siempre es igual a 1 (un detalle del que no tenemos que preocuparnos aquí). Lo sé, las ecuaciones matemáticas pueden ser un poco “abstractas” a veces, así que veamos un ejemplo concreto. Supongamos que tenemos un punto de entrenamiento de muestra x de 4 características (por ejemplo, longitud del sépalo, ancho del sépalo, longitud del pétalo y ancho del pétalo en el conjunto de datos de Iris ):

x = [1, 2, 3, 4]

Ahora, supongamos que nuestro vector de peso se ve así:

w = [0.5, 0.5, 0.5, 0.5]

¡Calculemos z ahora!

z = w ^ T x = 10.5 + 20.5 + 30.5 + 40.5 = 5

No es que sea importante, pero tenemos una probabilidad del 99.3% de que esta muestra pertenezca a la clase 1: φ (z = 148.41) = 1 / (1 + e-5) = 0.993

De todos modos, la razón por la cual la regresión logística produce un límite de decisión lineal es la aditividad de los términos: nuestro resultado z depende de la aditividad de los parámetros, por ejemplo:

z = w_1 * x_1 + w_2 * x_2

No hay interacción entre los pesos de los parámetros, nada como w_1 * x_1 * w_2 * x_2 más o menos, ¡lo que haría que nuestro modelo no sea lineal!

Lea también el comentario de Antonio Linero a continuación: La respuesta que un estadístico daría a esta pregunta es “la regresión logística * no es * un modelo lineal”. Un estadístico llama a un modelo “lineal” si la media de la respuesta es una función lineal del parámetro, y esto se viola claramente para la regresión logística. La regresión logística es un * modelo lineal generalizado *. Los modelos lineales generalizados, a pesar de su nombre, generalmente no se consideran modelos lineales. Tienen un componente lineal, pero el modelo en sí no es lineal debido a la no linealidad introducida por la función de enlace.

Aprendizaje automáticoEstadísticaRegresiónRegresión logística

Cómo aprender y construir un chatbot inteligente basado en inteligencia artificial como Google Allo desde cero, con un mayor enfoque en el modelo de dominio cerrado basado en la recuperación y el aprendizaje de ML y NLP

¿Cuáles son los buenos algoritmos para la extracción de características para grandes conjuntos de datos?

¿Existe una definición matemática para una máquina de vectores de soporte?

¿Qué es mejor para el aprendizaje profundo: TensorFlow o Chainer?

¿Es posible el aprendizaje automático acelerado por GPU utilizando un controlador de gráficos de software libre?

¿Cuál es la mejor computadora portátil que puedo obtener para aprender el aprendizaje profundo con CUDA?

La regresión logística no es un modelo lineal. Por lo general, una regresión lineal se refiere a un modelo lineal o modelo lineal general. La regresión logística es un modelo lineal generalizado.

Los modelos lineales generalizados (GLM) son una clase amplia de modelos que incluyen regresión lineal, regresión logística, regresión lineal logarítmica, regresión de Poisson, ANOVA, ANCOVA, etc. .

Componente aleatorio : se refiere a una variable de respuesta (y), que debe satisfacer algunos supuestos de PDF. Por ejemplo: la regresión lineal de y (variable dependiente) sigue la distribución normal. La variable de respuesta de regresión logística sigue la distribución binomial.
Componente sistemático : no es más que variables explicativas en el modelo. Los componentes sistemáticos ayudan a explicar el componente aleatorio.
Función de enlace : es un enlace entre componentes sistemáticos y aleatorios. La función de enlace indica cómo el valor esperado de la variable de respuesta se relaciona con la variable explicativa. La función de enlace de la regresión lineal es E [y] y la función de enlace de la regresión logística es [math] logit (\ pi). [/ Math]

Peter Flom

Sí, la regresión logística es un clasificador lineal. Es un tipo de modelo lineal generalizado, que predice variables con varios tipos de distribuciones de probabilidad ajustando una función de predicción lineal a algún tipo de transformación arbitraria del valor esperado de la variable [1]. Más información se puede encontrar aquí

¿Por qué la regresión logística es un clasificador lineal?
¿Cuál es la diferencia entre regresión lineal y regresión logística?
¿Qué es la regresión logística? – Soluciones de estadísticas

Notas al pie

[1] Regresión logística – Wikipedia

Joseph Dong

Lo respondiste tú mismo en la pregunta. Es porque el límite de decisión es lineal en [math] \ mathbf {x} [/ math].

Para ser más específico, el límite de decisión en este caso viene dado por [math] \ mathbf {w} ^ {T} \ mathbf {x} = 0 [/ math] (un hiperplano). Pero luego continúas diciendo ” pero también podemos generar límites de decisión no lineales “.

Bueno, por supuesto que puede, pero eso se llamará una instancia no lineal de regresión logística (exactamente de la misma manera que tenemos SVM lineales y SVM no lineales). En otras palabras, puede comenzar con sus datos originales [math] \ mathbf {x} [/ math] y ver / decidir que no son linealmente separables. Lo que puede hacer a continuación es introducir una transformación de características [math] h (\ mathbf {x}) [/ math] y usarla en lugar de [math] \ mathbf {x} [/ math].

Por ejemplo, si decide aplicar una transformación de entidad cuadrática en say por simplicidad, sus datos bidimensionales entonces [mathb] h (\ mathbf {x}) [/ math] en este caso simplemente viene dado por [math] h ( \ mathbf {x}) = \ left [\ begin {array} {c} x_ {1} \\ x_ {2} \\ x_ {1} ^ {2} \\ x_ {2} ^ {2} \\ x_ {1} x_ {2} \ end {array} \ right] [/ math], y su modelo logístico es ahora [math] y = f \ left (\ mathbf {w} ^ {T} h (\ mathbf { x}) \ right) [/ math] con el límite de decisión dado por [math] \ mathbf {w} ^ {T} h (\ mathbf {x}) = 0 [/ math] (que ahora es no lineal curva cuadrática en el espacio de datos original).

nota al margen: con la regresión logística no lineal, el límite de decisión seguirá siendo lineal en el espacio de características transformado , pero no lineal en el espacio de datos original . Para más información sobre esto, puede ver los Capítulos 3 y 4 del libro refinado de aprendizaje automático aquí.

Partha Talukder

Sí, la regresión logística se considera como un modelo lineal. En regresión lineal, el resultado es continuo. Puede tener un número infinito de valores posibles, pero en el resultado de la regresión logística tiene un número limitado de valores posibles.

La regresión logística estima la probabilidad de un evento en un formato categórico (por ejemplo, 0 o 1). Esta respuesta de probabilidad estimada es lineal y es por eso que se considera un modelo lineal generalizado. La ecuación lineal general es:

Y = b0 + (biXi) + e

La probabilidad de Y = 1 es:

P (Y = 1) = 1/1 + eY

Si desea obtener más información sobre la regresión lineal y logística, le recomendaría que siga este curso Comercio con Machine Learning: Regresión | Quantra by QuantInsti que le brinda una buena comprensión de la regresión y su aplicación en el aprendizaje automático.

Justin Rising

La regresión logística es un modelo lineal generalizado (GLM). Esto se debe a que contiene los 3 componentes habituales que deben clasificarse como GLM: 1) Un componente aleatorio (familia exponencial), 2) Predictor lineal y 3) Función de enlace. Puede leer más aquí: http://www.sagepub.com/sites/def …

Esto no significa que la regresión logística solo pueda ajustarse a un límite de decisión lineal a los datos.

En la regresión logística, el resultado está relacionado con los predictores a través de la función sigmoidea logística.

Modelo: [math] \ hat {y} = Sigmoide (\ mathbf {w} ^ {T} \ mathbf {x}) [/ math]

La entrada al sigmoide es lineal en los parámetros, no en los predictores. El límite de decisión es la solución a la ecuación, [math] \ mathbf {w ^ {T}} \ mathbf {x} = 0 [/ math]. Como resultado, si [math] \ mathbf {x} [/ math] contiene términos no lineales (como interacciones o términos cuadrados), el límite de decisión no será lineal.

Sebastian Raschka

La regresión logística viene bajo ‘Modelo lineal generalizado (GLM)’. Sí, es un poco extraño por qué una regresión logística se llamará modelo ‘lineal’ cuando la función en sí es una curva sigmoidea no lineal. Además, al contrario de su nombre, ‘Regresión logística’ no es en realidad ‘Regresión’ sino un algoritmo de ‘Clasificación’.

Traté de reunir rápidamente clasificaciones de regresiones lineales y algunos de sus ejemplos como se muestra a continuación (que por supuesto es completo …):

Como puede ver aquí, en GLM podemos modelar diferentes funciones cambiando las funciones de enlace. En caso de regresión logística, la función de enlace es logit (es decir, log impar) y la predicción se define por:

Donde como ‘impar’ se define por

este “log impar” es una función lineal de ‘x’, y esa es la razón por la que califica para ser una regresión lineal.

Glen Welton Smith

* A2A *

La regresión logística se denomina clasificador lineal porque la superficie de decisión es lineal. Para cualquier clasificador discriminatorio binario probabilístico, puede intentar encontrar la superficie de decisión estableciendo [math] p (y = +1 | x) = p (y = -1 | x) [/ math] ** y verificando la condición para que tiene esta igualdad. Si hace esto para la regresión logística, puede verificar fácilmente que la igualdad se cumple cuando [math] w ^ {\ top} x = 0 [/ math] que no es más que una ecuación lineal.

** Suponiendo que el umbral para la decisión es 0.5. Puede hacer algo similar incluso si el umbral de decisión no es 0.5.

Shehroz Khan

Para comprender por qué es un modelo lineal, debe comprender qué hace que un modelo lineal sea un modelo lineal. La definición no se basa en producir una línea recta o el tipo de variable dependiente. Se basa en la forma del modelo en sí.

Si todos los términos en el modelo son la constante o un parámetro * IV, y estos términos se suman, es un modelo lineal. Si no se ajusta a esta definición, no es lineal.

Para obtener más información, lea una publicación de blog que he escrito sobre este tema:
http://statisticsbyjim.com/regre …

Peter Flom

La regresión logística NO es un modelo lineal, es un modelo lineal generalizado (modelo lineal generalizado ).
En estos modelos, la respuesta (probabilidad de un ‘1’ en el caso de regresión logística) es una función de una combinación lineal de las características.
Específicamente, P (Y = 1 | x) = sigmoide (theta * x). Theta * x es una combinación lineal y una función de enlace sigmoide (inverso).

Apurv Verma

Hay una respuesta simple:

Aunque la probabilidad no depende linealmente de las variables explicativas, puede transformarla de tal manera que sea lineal, con una función definida.
Si dibuja un plano k-dimensional (con k variables) la línea de discriminación es lineal Si quiere resolver, digamos, [matemática] p = 0.5 [/ matemática], obtendrá una ecuación lineal con sus variables.
Entonces, hay menos distancia entre la línea [matemática] p = 0.4 [/ matemática] y [matemática] p = 0.6 [/ matemática] que entre la línea [matemática] p = 0.7 [/ matemática] y [matemática] p = 0.9 [ / math], pero eso simplemente no importa.

Justin Rising

Veamos si puedo relacionar una respuesta correcta y bastante completa de una manera breve y concisa.

La respuesta a un problema de regresión logística es un problema de regresión lineal modificado por algunas cosas que algunos tipos inteligentes descubrieron que nos da un número entre 0 y uno que tiene la gran propiedad de decirnos también la confianza detrás de la respuesta.

Por supuesto, es necesario recordar que todo el campo de ML no solo apareció completamente formado un día. Casi un tipo inteligente reconoce los problemas en una ecuación o en un método general, agrega sus propias cosas y lo llama por un nombre que todas las personas estúpidas podemos entender usando palabras y conceptos que ya conocemos.

Nir Kaldero

Cuando decimos que un modelo es lineal, queremos decir que sus predicciones son una función lineal de sus parámetros. La regresión logística definitivamente califica en esa definición.

Supreeth Narasimhaswamy

La regresión logística se considera como un modelo lineal porque el límite de decisión que genera es lineal, lo que puede usarse para fines de clasificación.

Del gráfico anterior, podemos decir que si X_i \theta es mayor que 0, entonces la salida es 1, de lo contrario 0.

[1] Fuente de la imagen: CSE 258

Glen Welton Smith

Solo porque hay + (además, adaptabilidad) entre los parámetros / características. Sin embargo, la función detrás del modelo logit es una función no lineal (log-normal).

Mejor,
Nir Kaldero
Director de Ciencia, Expertos en Ciencia de Datos
galvanizarU

Justin Rising

Te daré una respuesta bastante simple.

Piense en cuál es la regla de predicción de este modelo: “Si la probabilidad pronosticada p es mayor que 0.5, entonces le damos al ejemplo actual una etiqueta de clase Y = 1, de lo contrario Y = 0”.

Dado que la regla de predicción es p = 1 / (1 + exp (- ), donde w son los parámetros del modelo yx es su ejemplo de prueba, p> = 0.5 equivale a reducir esta desigualdad, lo que le da < w, x>> = 0.

Tenga en cuenta que este producto interno es una función lineal de x. Es por eso que la regresión logística le da un límite de decisión lineal.

Maciej Pomykała

Simplemente porque el límite de decisión es lineal.

Shehroz Khan

¿También requerimos que la función de enlace sea de algún tipo, por ejemplo, monótona, continua, etc.?

Creo que sí, y no es suficiente decir que, siempre que la rhs sea una combinación lineal, califica un modelo lineal.

Desde una vista diferente al límite lineal, un modelo lineal es aquel en el que el espacio predicho se puede mapear uno a uno en el espacio lineal atravesado por las entradas.

Justin Rising

Toda la razón para tomar el logit es hacer posible el uso de un modelo lineal. Es decir, el modelo es lineal del logit.

Maciej Pomykała

No se confunda con la transformación sigmoidea. El logit es una ecuación lineal lineal, por lo tanto, la regresión logística es un modelo lineal.

Peter Flom

More Interesting

¿Cuál es la diferencia entre el análisis factorial y el análisis de conglomerados?

¿Cuáles son los pros y los contras de Spark MLlib vs. H2O?

¿AWS es bueno para ejecutar proyectos de aprendizaje profundo? ¿Qué tan rápido y costoso sería entrenar una red convolucional en aproximadamente 1 millón de imágenes?

¿Para qué se puede utilizar el análisis de la marcha?

Como ingeniero de ML en Quora, ¿alguna vez ha implementado un artículo de investigación en aprendizaje automático para resolver un problema técnico o de producto?

¿Qué es el "aprendizaje de refuerzo de múltiples agentes"?