ACTUALIZACIÓN (IMPORTANTE): mi respuesta en realidad compara la regresión logística (logit lineal) con SVM (kernel no lineal). Como señala la respuesta de Anónimo, también podría tener una función de logit no lineal y un núcleo lineal en SVM. Mi respuesta estrictamente hablando no es correcta. Esto es como una versión simplificada sobre por qué los modelos lineales (regresión logística logit lineal) son malos y los modelos no lineales (SVM con kernel RBF) son buenos en algunos casos.
———
Que yo sepa, SVM es un clasificador. No lo he visto comparado con la regresión lineal, y creo que es incorrecto usar la regresión lineal para la clasificación [1]
Sin embargo, le daré una intuición fácil de entender por qué SVM es mejor que la regresión logística.
- ¿Cuál es la diferencia entre los pronósticos de combinación y conjunto?
- ¿Es inevitable la multicolinealidad en los datos experimentales? Si no, ¿en qué condiciones podemos esperar multicolinealidad?
- ¿Puede la red neuronal convolucional reconocer un objeto en cualquier condición?
- ¿Qué se entiende por el término "ejemplos adversos" en el aprendizaje automático?
- ¿Qué información se debe divulgar para caracterizar un conjunto de datos para la clasificación de texto?
Digamos que tiene algunos puntos rojos y puntos verdes … la próxima vez que le den un punto negro … necesita poder clasificarlo como rojo o verde. Este es un problema de clasificación muy simple en Machine Learning.
Ejemplo 1:
Intentará crear una curva / línea que separe los puntos rojos de los puntos verdes. Esto se conoce como límite de decisión. Con este límite de decisión, dirá que si se encuentra en un lado, llamaré al punto negro como rojo, si se encuentra en el otro lado, llamaré al punto negro como verde.
Con la regresión logística, solo puede lograr algo como esto (ya que es un modelo lineal): * Imagen representativa, no regresión logística real.
Ejemplo 1.1:
También debe saber que la regresión logística solo puede generar un límite de decisión en línea recta. Nunca se puede llegar a una curva ondulada como un límite de decisión con regresión logística.
Con SVM puede llegar a un límite de decisión similar a este (si tiene un núcleo no lineal):
Ejemplo 1.2
Claramente estarías de acuerdo conmigo en que el segundo límite de decisión es mejor que el primero para separar los puntos rojos de los verdes.
Pero el poder real de SVM se ve cuando tiene datos como este:
Ejemplo 2
Estarás en un lío si usas la regresión logística para separar los datos con una línea recta. De hecho, no puede hacerlo correctamente con regresión logística.
Pero si entrena correctamente su SVM, puede lograr algo como esto:
Ejemplo 2.2
Bastante sorprendente, ¿no?
Pero también hay una maldición asociada con los SVM, si no lo entrena adecuadamente para el primer ejemplo, también podría terminar con algo como esto:
Ejemplo 1.4
Esto está bastante mal … es posible que no desee tener estas pequeñas burbujas como límites de decisión que dañarán sus predicciones. Esto se conoce como sobreajuste .
Foto. Cortesía: Machine Learning
[1] Puede encontrar más información sobre por qué no usar la regresión lineal para la clasificación aquí ¿Por qué no abordar la clasificación a través de la regresión?