Primero haré una distinción entre SVM como modelo discriminativo y LDA como modelo generativo. Los modelos discriminativos solo modelan (implícita o explícitamente) la distribución condicional de la variable de salida, dadas las variables de entrada. No les importa cómo surgieron las entradas, sino solo la asignación de las entradas a la salida:
Los SVM encuentran un mapeo cuya separación lineal entre dos clases es lo más amplia posible si las clases son linealmente separables (y, por lo tanto, el nombre alternativo clasificadores de margen máximo ), o minimizan la holgura permitida en ejemplos mal clasificados en escenarios no linealmente separables. Un SVM producirá el mismo límite lineal incluso si cambia las distribuciones de los puntos en ambos lados de la cerca.
Ahora compare este comportamiento con el de LDA, que es un modelo generativo. LDA se preocupa por la distribución de entrada (además de la entrada -> distribución de salida), y lo hace modelando explícitamente las entradas como distribuidas gaussianas. En el caso de LinearDA (un caso especial de QuadraticDA), ambos gaussianos comparten la misma covarianza. Compartir covarianzas implica que la probabilidad de clasificación es equitativa a mitad de camino entre los dos gaussianos.
- ¿Con qué biblioteca de aprendizaje automático debo experimentar entre SparkML, Microsoft Azure ML y AWS ML?
- Dado que existen marcos optimizados en línea, ¿vale la pena implementar manualmente implementaciones vectorizadas para redes neuronales complicadas?
- ¿Qué son los núcleos en aprendizaje automático y SVM y por qué los necesitamos?
- ¿El aprendizaje automático permitirá a Google detectar contenido falso?
- ¿Cómo se mejora y mejora la técnica de aprendizaje automático mientras nadie sabe exactamente cómo funciona?
En resumen, los límites de SVM dependen de la distancia entre los vectores de soporte (ejemplos más cercanos al límite, una minoría ), mientras que los límites de LDA dependen de los medios gaussianos, que a su vez dependen de todos los datos.
Por último, aquí hay un ejemplo ilustrativo de juguete:
