Modelos generativos frente a modelos discriminativos (en el contexto bayesiano)

Question

¿Cuáles son las diferencias entre los modelos generativos y discriminativos (discriminantes) (en el contexto del aprendizaje y la inferencia bayesianos)?

y que se ocupa de la predicción, la teoría de la decisión o el aprendizaje no supervisado?

Answer 1

Ambos se utilizan en el aprendizaje supervisado, en el que se desea aprender una regla que asigne la entrada x a la salida y, dado un número de ejemplos de entrenamiento de la forma $\{(x_i,y_i)\}$ . Un modelo generativo (por ejemplo, el Bayes ingenuo) modela explícitamente la distribución de probabilidad conjunta $p(x,y)$ y luego utiliza la regla de Bayes para calcular $p(y|x)$ . Por otro lado, un modelo discriminativo (por ejemplo, la regresión logística) modela directamente $p(y|x)$ .

Algunos sostienen que el modelo discriminante es mejor en el sentido de que modela directamente la cantidad que le interesa $(y)$ para que no tenga que gastar sus esfuerzos de modelado en la entrada x (tiene que calcular $p(x|y)$ también en un modelo generativo). Sin embargo, el modelo generativo tiene sus propias ventajas, como la capacidad de tratar los datos que faltan, etc. Para comparar, puede consultar este documento: Sobre los clasificadores discriminativos frente a los generativos: Una comparación entre la regresión logística y el Bayes ingenuo

Puede haber casos en los que un modelo sea mejor que el otro (por ejemplo, los modelos discriminativos suelen ser mejores si se tienen muchos datos; los generativos pueden ser mejores si se tienen algunos datos extra sin etiquetar). De hecho, también existen modelos híbridos que intentan aportar lo mejor de ambos mundos. Véase este artículo para ver un ejemplo: Híbridos de principios de modelos generativos y discriminativos

Answer 2

Una adición a la respuesta anterior:

Dado que el discriminante sólo tiene en cuenta P(Y|X), mientras que el generativo tiene en cuenta P(X,Y) y P(X) al mismo tiempo, para predecir bien P(Y|X), el modelo generativo tiene menos grado de libertad en el modelo comparado con el modelo discriminante. Así pues, El modelo generativo es más robusto El sistema de control de calidad es menos propenso a la sobreadaptación, mientras que el discriminante es lo contrario.

Eso explica la respuesta anterior

Puede haber casos en los que un modelo sea mejor que el otro (por ejemplo, los modelos discriminativos suelen ser mejores si se tienen muchos datos; los modelos generativos pueden ser mejores si se tienen algunos datos adicionales sin etiquetar).