Perché i modelli di analisi "discriminanti" di Gauss sono chiamati così?


13

I modelli di analisi discriminante gaussiana apprendono e quindi applicano la regola di Bayes per valutare P ( y | x ) = P ( x | y ) P p r i o r ( y )P(X|y)

P(y|X)=P(X|y)Pprioor(y)ΣgYP(X|g)Pprioor(g).

Risposte:


19

Se intendi LDA direi che il nome, analisi lineare discriminante, può essere spiegato storicamente risalendo almeno al documento di Fisher del 1936 , che, per quanto ne so , precede l'attuale terminologia e distinzione nell'apprendimento automatico tra un discriminante e un modello generativo. Non che Fisher la chiamasse direttamente analisi discriminante lineare, ma chiese esplicitamente una funzione lineare per la discriminazione. Come curiosa osservazione laterale, Fisher ha considerato la discriminazione per il famoso set di dati Iris nel documento.

A proposito, Fisher non ha presentato il metodo lineare di discriminazione in termini di modello generativo. Ha cercato una combinazione lineare (per due classi) che massimizzi il rapporto tra la varianza tra i gruppi e la varianza tra i gruppi , che non richiede un presupposto di normalità. I dettagli e il modo in cui si relaziona a LDA come regola di Bayes per un modello generativo, si trovano nel capitolo 3 del libro di Brian Ripley "Pattern Recognition and Neural Networks".


2

È semplice, nel caso abbiate due classi (Y=0,Y=1), la GDA fa uso di questo presupposto:

  1. P(X|Y=0)~N(μ0,Σ0)
  2. P(X|Y=1)~N(μ1,Σ1)
  3. P(Y=1)=1-P(Y=0)=Φ

E poi ottiene i parametri (μ0,Σ0,μ1,Σ1,Φ) utilizzando la stima della massima verosimiglianza.

Quindi è gaussiano perché usa un'ipotesi gaussiana per la distribuzione intra-goup (potresti voler usare l'uniforme invece di ex) e discriminante perché mira a separare i dati in gruppi.

Puoi trovare maggiori informazioni qui .

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.