Modelli generativi vs discriminativi (nel contesto bayesiano)

Quali sono le differenze tra modelli generativi e discriminatori (discriminanti) (nel contesto dell'apprendimento e dell'inferenza bayesiani)?

e cosa riguarda la predizione, la teoria delle decisioni o l'apprendimento senza supervisione?

Entrambi sono utilizzati nell'apprendimento supervisionato in cui si desidera apprendere una regola che associa l'input x all'output y, dato un numero di esempi di addestramento del modulo . Un modello generativo (ad esempio Bayes ingenuo) modella esplicitamente la distribuzione di probabilità congiunta p ( x , y ) e quindi utilizza la regola di Bayes per calcolare p ( y | x ) . D'altra parte, un modello discriminante (ad es. Regressione logistica) modella direttamente p ( y | x ) .$\{(x_i,y_i)\}$$p(x,y)$$p(y|x)$$p(y|x)$

Alcune persone sostengono che il modello discriminante è migliore nel senso che modella direttamente la quantità che ti interessa , quindi non devi spendere i tuoi sforzi di modellazione sull'input x (devi calcolare p ( x | y ) anche in un modello generativo). Tuttavia, il modello generativo ha i suoi vantaggi come la capacità di gestire i dati mancanti, ecc. Per alcuni confronti, puoi dare un'occhiata a questo documento: Sui classificatori discriminatori vs. generativi: un confronto tra regressione logistica e Bayes ingenui$(y)$$p(x|y)$

Ci possono essere casi in cui un modello è migliore dell'altro (ad esempio, i modelli discriminatori di solito tendono a fare meglio se si dispone di molti dati; i modelli generativi possono essere migliori se si dispone di dati extra senza etichetta). In realtà, esistono anche modelli hybird che cercano di attirare il meglio di entrambi i mondi. Vedi questo documento per un esempio: ibridi di principio di modelli generativi e discriminatori

Un'aggiunta alla risposta sopra:

Poiché i discriminanti si preoccupano solo di P (Y | X), mentre i generativi si preoccupano contemporaneamente di P (X, Y) e P (X), al fine di prevedere bene P (Y | X), il modello generativo ha meno grado di libertà nel modello rispetto al modello discriminante. Quindi il modello generativo è più robusto , meno incline al sovradimensionamento mentre il discriminante è il contrario.

Questo spiega la risposta sopra

Ci possono essere casi in cui un modello è migliore dell'altro (ad esempio, i modelli discriminatori di solito tendono a fare meglio se si dispone di molti dati; i modelli generativi possono essere migliori se si dispone di dati extra senza etichetta).