¿Cuáles son algunos de los beneficios y desventajas de los modelos discriminativos y generativos?

Considere Naive Bayes y la regresión logística con características equivalentes, a veces llamadas “par generativo-discriminativo”. Dado el modelo P (X, Y) de Naive Bayes, obtienes densidad condicional P (Y | X) al marginar. Dado el modelo de regresión logística P (Y | X), obtienes la densidad completa P (X, Y) multiplicándola por la densidad empírica P (X) del conjunto de entrenamiento. En definitiva, la única diferencia entre dos modelos es el objetivo que están maximizando. Ver [1] para detalles sobre el álgebra

Si su objetivo es modelar P (X, Y) directamente (es decir, para la detección de anomalías, compresión, agrupamiento), no tiene sentido utilizar un objetivo discriminatorio.

Suponga que su objetivo es predecir Y dada X. Obtendrá una mayor precisión en los datos de entrenamiento mediante el uso de objetivos discriminativos. Si su conjunto de entrenamiento es lo suficientemente grande, esto significa una mejor precisión en los datos futuros. Para conjuntos de entrenamiento pequeños, el buen desempeño en los datos de entrenamiento no se transfiere a datos futuros, y usted obtiene una mayor precisión al entrenar su modelo generativamente. En el entrenamiento generativo, la parte marginal del objetivo esencialmente funciona como un regularizador. Las personas observaron modelos híbridos discriminativos-generativos donde el peso del término marginal es un parámetro, lo que le permite elegir un punto entre el entrenamiento totalmente discriminativo y totalmente generativo. [2] analizaron el comportamiento de una compensación óptima que se comporta como otros regularizadores: cuantos más datos tenga, más “discriminatorio” debería ser su objetivo.

[1] http://yaroslavvb.blogspot.com/2…
[2] http://citeseerx.ist.psu.edu/vie…

Data Science, Big Data, Machine Learning, ¿qué certificación debo hacer para cambiar la trayectoria profesional desde un entorno de control de calidad?

Cómo construir una aplicación de Android orientada al aprendizaje automático

¿Se pueden usar las colecciones LETOR para una recuperación ad hoc?

Cómo implementar una capa de deconvolución con los mismos valores de peso de la capa de convolución anterior para una red neuronal convolucional

¿Cuál es la mejor manera de crear un conjunto de capacitación para el aprendizaje automático?

¿Cuáles son algunos buenos recursos para aprender sobre el control y la optimización de procesos sin modelos?

Los modelos generativos le permiten hacer afirmaciones explícitas sobre el proceso que subyace a un conjunto de datos. Por ejemplo, los modelos gráficos generativos le permiten describir dependencias condicionales entre los parámetros del modelo. Si su modelo se ajusta bien a su conjunto de datos, fortalece su afirmación de que su modelo refleja con precisión el proceso generativo que realmente creó los datos que está modelando.

Después de ajustar un modelo generativo, también puede ejecutarlos para generar conjuntos de datos sintéticos. Puede configurar parcialmente los parámetros del modelo mientras los ejecuta hacia adelante para experimentar también con los efectos que tiene sobre los datos sintéticos.

Sin embargo, si las relaciones expresadas por su modelo generativo solo se aproximan al verdadero proceso generativo subyacente que creó sus datos, los modelos discriminativos generalmente superarán en términos de tasas de error de clasificación (y la cantidad de datos de entrenamiento requeridos).

En términos generales, si desea un modelo explicativo que haga afirmaciones explícitas sobre cómo se generan los datos, entonces usará un modelo generativo. Si desea optimizar la precisión de la clasificación y no necesita hacer afirmaciones sobre cómo interactúan los parámetros del modelo, entonces usará un modelo discriminatorio.

Creo que su intuición en la pregunta es correcta: los modelos generativos son más ricos, ya que puede calcular la parte posterior de la articulación. En los modelos generativos con los que estoy familiarizado, normalmente la probabilidad se aprende directamente (y la evidencia previa y aproximada de los datos) para calcular el posterior, mientras que con los modelos discriminativos, el posterior se aprende directamente.

Anant Appalanaidu

La riqueza de un modelo no siempre es una ventaja: ajustar más parámetros requiere más tiempo, espacio y cálculo. Cuando el número de parámetros es limitado, un modelo discriminatorio intentará optimizar la predicción de y a partir de x , mientras que un modelo generativo intentará optimizar la predicción conjunta de x e y . Debido a esto, los modelos discriminativos superan a los modelos generativos en las tareas de predicción condicional (los modelos de regresión logística tienden a superar a los modelos ingenuos de Bayes con el mismo número de parámetros [1]). Tenga en cuenta que los modelos discriminativos deben ser regularizados con más cuidado que los modelos generativos, y hay muchos casos en la literatura en los que los modelos discriminativos incompetentemente regularizados son superados por los modelos generativos ingenuos.

Hay una situación en la que un enfoque generativo ayuda a discriminar: el caso de x faltante o escaso. Considere una población de perros y gatos parcialmente observados, y siendo ‘perro’ o ‘gato’, yx siendo ‘cola’, ‘cola de meneo’, ‘pelo’, ‘sonido de guau’, ‘sonido de miau’.

Supongamos que a veces no se observan todas las dimensiones de x . Un modelo discriminativo simple puede terminar tratando x = [‘cola de meneo’] de manera diferente de x = [‘guau’, ‘cola de meneo’] y diferente de x = [‘cola de meneo’, ‘cola’, ‘guau’] – a pesar de que un modelo generativo reconocería que uno no puede tener una cola que se mueve sin una cola, y que ningún gato teje o mueve una cola, e imputaría las características no observadas.

Como resultado, los modeladores de regresión participan en una metodología de imputación tediosa, poco sistemática y a menudo no bayesiana. Un mejor enfoque sería un modelo generativo inteligentemente diseñado. Una innovación más reciente han sido los híbridos de modelos discriminativos y generativos [2,3]. Un procedimiento híbrido popular es la regresión de mínimos cuadrados parciales.

[1] http://iccle.googlecode.com/svn/ …
[2] http://research.microsoft.com/en …
[3] http://research.microsoft.com/pu …

Anant Appalanaidu

More Interesting

¿Es necesario aprender Python para seguir la especialización en cursos de Machine Learning, de Coursera?

¿Cómo almacena un sistema de aprendizaje automático su memoria aprendida?

Cómo hacer que una red neuronal funcione como PCA

Redes neuronales convolucionales: ¿Qué están haciendo los regresores de cuadro delimitador en Fast-RCNN?

¿Qué se enseña en los cursos de posgrado de aprendizaje automático?

¿Cómo debo explicar el modelo matemático de la red neuronal con ejemplos adecuados?

¿Cuáles son algunos de los usos del aprendizaje automático en los motores de búsqueda?

¿Qué pensaría BF Skinner del aprendizaje automático?

¿Existe una versión de objetivos múltiples de regresión logística, regresión lineal, SVM, PCA, K-means o algún otro algoritmo de aprendizaje automático?