Modelli generativi vs discriminativi (nel contesto bayesiano)


22

Quali sono le differenze tra modelli generativi e discriminatori (discriminanti) (nel contesto dell'apprendimento e dell'inferenza bayesiani)?

e cosa riguarda la predizione, la teoria delle decisioni o l'apprendimento senza supervisione?


Scusa, non capisco cosa intendi con la seconda frase. Proveresti a riformularlo?
csgillespie,

ohu, sono appena entrato nel mondo della statistica e dell'apprendimento automatico, mi dispiace non aver scoperto come collegare l'apprendimento senza supervisione alla teoria delle decisioni. ma sto ancora studiando!
nkint

1
Sono solo confuso su come si adatta alla domanda. Ad esempio, le parole "predizione", "teoria delle decisioni" o "senza sorveglianza" non compaiono nella risposta accettata
csgillespie,

Risposte:


35

Entrambi sono utilizzati nell'apprendimento supervisionato in cui si desidera apprendere una regola che associa l'input x all'output y, dato un numero di esempi di addestramento del modulo . Un modello generativo (ad esempio Bayes ingenuo) modella esplicitamente la distribuzione di probabilità congiunta p ( x , y ) e quindi utilizza la regola di Bayes per calcolare p ( y | x ) . D'altra parte, un modello discriminante (ad es. Regressione logistica) modella direttamente p ( y | x ) .{(Xio,yio)}p(X,y)p(y|X)p(y|X)

Alcune persone sostengono che il modello discriminante è migliore nel senso che modella direttamente la quantità che ti interessa , quindi non devi spendere i tuoi sforzi di modellazione sull'input x (devi calcolare p ( x | y ) anche in un modello generativo). Tuttavia, il modello generativo ha i suoi vantaggi come la capacità di gestire i dati mancanti, ecc. Per alcuni confronti, puoi dare un'occhiata a questo documento: Sui classificatori discriminatori vs. generativi: un confronto tra regressione logistica e Bayes ingenui(y)p(X|y)

Ci possono essere casi in cui un modello è migliore dell'altro (ad esempio, i modelli discriminatori di solito tendono a fare meglio se si dispone di molti dati; i modelli generativi possono essere migliori se si dispone di dati extra senza etichetta). In realtà, esistono anche modelli hybird che cercano di attirare il meglio di entrambi i mondi. Vedi questo documento per un esempio: ibridi di principio di modelli generativi e discriminatori


1
Bella risposta. Rispetto al confronto tra esempi canonici di classificatori discriminativi e generativi (rispettivamente regressione logistica e Bayes ingenui gaussiani), ho trovato questo capitolo del libro molto accessibile rispetto a Ng: cs.cmu.edu/~tom/mlbook/NBayesLogReg.pdf
Josh Hemann,

3

Un'aggiunta alla risposta sopra:

Poiché i discriminanti si preoccupano solo di P (Y | X), mentre i generativi si preoccupano contemporaneamente di P (X, Y) e P (X), al fine di prevedere bene P (Y | X), il modello generativo ha meno grado di libertà nel modello rispetto al modello discriminante. Quindi il modello generativo è più robusto , meno incline al sovradimensionamento mentre il discriminante è il contrario.

Questo spiega la risposta sopra

Ci possono essere casi in cui un modello è migliore dell'altro (ad esempio, i modelli discriminatori di solito tendono a fare meglio se si dispone di molti dati; i modelli generativi possono essere migliori se si dispone di dati extra senza etichetta).


2
Puoi spiegare cosa stai dicendo sul fatto che i modelli generativi hanno meno gradi di libertà? Prova? Link? Grazie
Patrick,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.