Come calcolare i pesi del criterio Fisher?

Sto studiando il riconoscimento di modelli e l'apprendimento automatico e ho incontrato la seguente domanda.

Considera un problema di classificazione di due classi con uguale probabilità di classe precedente

$$P(D_1)=P(D_2)= \frac{1}{2}$$

e la distribuzione delle istanze in ciascuna classe data da

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

Come calcolare i pesi del criterio Fisher?

Aggiornamento 2: il peso calcolato fornito dal mio libro è: .$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

Aggiornamento 3: Come suggerito da @xeon, capisco che dovrei determinare la linea di proiezione per i discriminanti del Fisher.

Aggiornamento 4: Sia la direzione della linea di proiezione, quindi il metodo discriminante lineare di Fisher rileva che la migliore è quella per la quale viene massimizzata la funzione del criterio. La sfida rimanente è come possiamo ottenere numericamente il vettore ?W $W$$W$$W$

Dopo il documento a cui ti sei collegato (Mika et al., 1999) , dobbiamo trovare il che massimizza il cosiddetto quoziente di Rayleigh generalizzato ,$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

dove significa e covarianze ,C 1 , C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

La soluzione può essere trovata risolvendo il problema degli autovalori generalizzati dal primo calcolo gli autovalori risolvendo e quindi risolvendo per l'autovettore . Nel tuo caso, Il determinante di questa matrice 2x2 può essere calcolato a mano.λdet( S B -λ S W )=0wSB-λSW=( 16 - 3 λ 16 16 16 - 2 λ )

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

L'autovettore con il più grande autovalore massimizza il quoziente di Rayleigh. Invece di fare i calcoli a mano, ho risolto il problema degli autovalori generalizzati in Python usando scipy.linalg.eige ho ottenuto che è diverso dalla soluzione che hai trovato nel tuo libro. Di seguito ho tracciato l'iperpiano ottimale del vettore di peso che ho trovato (nero) e l'iperpiano del vettore di peso trovato nel tuo libro (rosso).

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

A seguito di Duda et al. (Pattern CLassification) che ha una soluzione alternativa a @lucas e in questo caso offre una soluzione molto semplice da calcolare a mano. (Spero che questa soluzione alternativa aiuti !! :))

In due classi LDA l'obiettivo è:

$\frac{w^TS_Bw}{w^TS_Ww}$ che significa solo che aumenta la varianza tra le classi e diminuisce la varianza all'interno della classe.

dove e , qui sono matrice di covarianza e sono rispettivamente mezzi di classe 1 e 2.$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

La soluzione di questo quoziente generalizzato di raleigh è un probem generalizzato di valore di autigene.

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

La formulazione sopra ha una soluzione in forma chiusa. è una matrice di rango 1 con base quindi che può essere normlizd per ottenere la risposta.$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

Ho appena calcolato e ottenuto [0,5547; 0,8321].$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

Rif: Classificazione dei modelli di Duda, Hart, Cicogna

$\mathbf{SOLUTION 2:}$

In alternativa, può essere risolto trovando il vettore eigen per il problema del valore di eigen generalizzato. $S_Bw = \lambda S_Ww$

Un polinomio in lambda può essere formato dal e le soluzioni a quel polinomio saranno il valore per . Ora supponiamo che tu abbia un insieme di valori autigen come radici del polinomio. Ora sostituisci e ottieni il vettore eigen corrispondente come soluzione al sistema lineare di equazioni . In questo modo per ciascuno di essi è possibile ottenere un insieme di vettori ed è un insieme di vettori eigen come soluzioni.$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$ , quindi i valori eigen sono radici al polinomio .$6\lambda^2 - 80\lambda$

Quindi 0 e 40/3 sono le due soluzioni. Per LDA, la soluzione è il vettore autigen corrispondente al valore autigen maggiore.$\lambda=$

Soluzione al sistema di equazione e$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

che risulta essere$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

La soluzione al sistema di equazioni sopra riportato è che è la stessa della soluzione precedente.$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

In alternativa, possiamo dire che risiede nello spazio nullo di .[ - 72 48 48 - 32$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

Per LDA a due classi, la soluzione è il vettore eigen con il valore eigen più alto. In generale, per la classe C LDA, i primi vettori autigenici C - 1 ai più alti valori autigenici C - 1 costituiscono la soluzione.

Questo video spiega come calcolare i vettori eigen per un semplice problema di valore eigen. ( https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example )

Di seguito è riportato un esempio. http://www.sosmath.com/matrix/eigen2/eigen2.html

LDA multi-classe: http://en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

Calcolo dello spazio nullo di una matrice: https://www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculating-the-null-space-of-a-matrix