Stimatori di massima verosimiglianza - Gaussiano multivariato

Contesto

Il gaussiano multivariato appare frequentemente in Machine Learning e i seguenti risultati sono utilizzati in molti libri e corsi ML senza derivazioni.

Dati dati in forma di matrice di dimensioni , se assumiamo che i dati seguano una distribuzione gaussiana -variata con parametri mean ( ) e matrice di covarianza ( ) gli stimatori di massima verosimiglianza sono dati da: $\mathbf{X}$ $m \times p$ $p$ $\mu$ $p \times 1$ $\Sigma$ $p \times p$

$\hat \mu = \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}}$

$\hat \Sigma = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T$

Comprendo che la conoscenza del gaussiano multivariato è un prerequisito per molti corsi di ML, ma sarebbe utile avere la derivazione completa in una risposta autonoma una volta per tutte, poiché sento che molti autoapprendimento rimbalzano intorno alle statistiche. Stackexchange e siti Web math.stackexchange in cerca di risposte.

Domanda

Qual è la piena derivazione degli stimatori della massima verosimiglianza per il gaussiano multivariato

Esempi:

Queste dispense (pagina 11) su Analisi Discriminante Lineare, o questi fanno uso dei risultati e presuppongono conoscenze precedenti.

Ci sono anche alcuni post a cui viene parzialmente risposto o chiuso:

— Xavier Bourret Sicotte
fonte

Risposte:

Derivazione degli stimatori di massima verosimiglianza

Supponiamo di avere vettori casuali, ognuno delle dimensioni : dove possono essere ogni vettori casuali interpretato come osservazione (punto dati) attraverso le variabili . Se ogni è indicato come vettori gaussiani multivariati: $m$ $p$ $\mathbf{X^{(1)}, X^{(2)},...,X^{(m)}}$ $p$ $\mathbf{X}^{(i)}$

X^{(i)} \sim N_{p} (μ, Σ)

$\mathbf{X^{(i)}} \sim \mathcal{N}_p(\mu, \Sigma)$

Dove i parametri sono sconosciuti. Per ottenere il loro preventivo possiamo usare il metodo della massima verosimiglianza e massimizzare la funzione di verosimiglianza. $\mu, \Sigma$

Si noti che dall'indipendenza dei vettori casuali, la densità congiunta dei dati è il prodotto delle singole densità , ovvero . Prendere il logaritmo dà la funzione di verosimiglianza $\mathbf{ \{X^{(i)}}, i = 1,2,...,m\}$ $\prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} ; \mu , \Sigma })$

\begin{aligned} l (μ, Σ | x^{(i)}) & = \log \prod_{i = 1}^{m} f_{X^{(i)}} (x^{(i)} | μ, Σ) \\ = \log \prod_{i = 1}^{m} \frac{1}{(2 π)^{p / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \\ = \sum_{i = 1}^{m} (- \frac{p}{2} \log (2 π) - \frac{1}{2} \log | Σ | - \frac{1}{2} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)) \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \log \prod_{i=1}^m f_{\mathbf{X^{(i)}}}(\mathbf{x^{(i)} | \mu , \Sigma }) \\ & = \log \ \prod_{i=1}^m \frac{1}{(2 \pi)^{p/2} |\Sigma|^{1/2}} \exp \left( - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \\ & = \sum_{i=1}^m \left( - \frac{p}{2} \log (2 \pi) - \frac{1}{2} \log |\Sigma| - \frac{1}{2} \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \right) \end{aligned}$

\begin{aligned} l (μ, Σ;) & = - \frac{m p}{2} \log (2 π) - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \end{aligned}

$\begin{aligned} l(\mu, \Sigma ; ) & = - \frac{mp}{2} \log (2 \pi) - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \end{aligned}$

Derivando $\hat \mu$

Per prendere la derivata rispetto a ed equivalere a zero, faremo uso della seguente identità di calcolo della matrice: $\mu$

$\mathbf{ \frac{\partial w^T A w}{\partial w} = 2Aw}$ se non dipende da e è simmetrico. $\mathbf{w}$ $\mathbf{A}$ $\mathbf{A}$

\begin{aligned} \frac{\partial}{\partial μ} l (μ, Σ | x^{(i)}) & = \sum_{i = 1}^{m} Σ^{- 1} (μ - x^{(i)}) = 0 \\ Since Σ is positive definite \\ 0 & = m μ - \sum_{i = 1}^{m} x^{(i)} \\ \hat{μ} & = \frac{1}{m} \sum_{i = 1}^{m} x^{(i)} = \bar{x} \end{aligned}

$\begin{aligned} \frac{\partial }{\partial \mu} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \sum_{i=1}^m \mathbf{ \Sigma^{-1} ( \mu - x^{(i)} ) } = 0 \\ & \text{Since $\Sigma$ is positive definite} \\ 0 & = m \mu - \sum_{i=1}^m \mathbf{ x^{(i)} } \\ \hat \mu &= \frac{1}{m} \sum_{i=1}^m \mathbf{ x^{(i)} } = \mathbf{\bar{x}} \end{aligned}$

Che è spesso chiamato il vettore medio di esempio .

Derivando $\hat \Sigma$

La derivazione dell'MLE per la matrice di covarianza richiede più lavoro e l'uso delle seguenti proprietà di algebra lineare e calcolo:

La traccia è invariante nelle permutazioni cicliche dei prodotti della matrice: $tr[ACB] = tr[CAB] = tr[BCA]$

Poiché è scalare, possiamo prendere la sua traccia e ottenere lo stesso valore: $x^TAx$ $x^tAx = tr[x^TAx] = tr[x^txA]$

$\frac{\partial}{\partial A} tr[AB] = B^T$

$\frac{\partial}{\partial A} \log |A| = A^{-T}$

La combinazione di queste proprietà ci consente di calcolare

\frac{\partial}{\partial A} x^{t} A x = \frac{\partial}{\partial A} t r [x^{T} x A] = [x x^{t}]^{T} = x^{T T} x^{T} = x x^{T}

$\frac{\partial}{\partial A} x^tAx =\frac{\partial}{\partial A} tr[x^TxA] = [xx^t]^T = x^{TT}x^T = xx^T$

Qual è il prodotto esterno del vettore con se stesso. $x$

Ora possiamo riscrivere la funzione log-verosimiglianza e calcolare la derivata wrt (la nota è costante) $\Sigma^{-1}$ $C$

\begin{aligned} l (μ, Σ | x^{(i)}) & = C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} (x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ) \\ = C + \frac{m}{2} \log | Σ^{- 1} | - \frac{1}{2} \sum_{i = 1}^{m} t r [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}] \\ \frac{\partial}{\partial Σ^{- 1}} l (μ, Σ | x^{(i)}) & = \frac{m}{2} Σ - \frac{1}{2} \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} Since Σ^{T} = Σ \end{aligned}

$\begin{aligned} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \text{C} - \frac{m}{2} \log |\Sigma| - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu)^T \Sigma^{-1} (x^{(i)} - \mu) } \\ & = \text{C} + \frac{m}{2} \log |\Sigma^{-1}| - \frac{1}{2} \sum_{i=1}^m tr[ \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)^T \Sigma^{-1} } ] \\ \frac{\partial }{\partial \Sigma^{-1}} l(\mathbf{ \mu, \Sigma | x^{(i)} }) & = \frac{m}{2} \Sigma - \frac{1}{2} \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \ \ \text{Since $\Sigma^T = \Sigma$} \end{aligned}$

Equivale a zero e risolve per $\Sigma$

\begin{aligned} 0 & = m Σ - \sum_{i = 1}^{m} {(x^{(i)} - μ) (x^{(i)} - μ)}^{T} \\ \hat{Σ} & = \frac{1}{m} \sum_{i = 1}^{m} {(x^{(i)} - \hat{μ}) (x^{(i)} - \hat{μ})}^{T} \end{aligned}

$\begin{aligned} 0 &= m \Sigma - \sum_{i=1}^m \mathbf{(x^{(i)} - \mu) (x^{(i)} - \mu)}^T \\ \hat \Sigma & = \frac{1}{m} \sum_{i=1}^m \mathbf{(x^{(i)} - \hat \mu) (x^{(i)} -\hat \mu)}^T \end{aligned}$

fonti

— Xavier Bourret Sicotte
fonte

Prove alternative, forme più compatte o interpretazione intuitiva sono i benvenuti!

— Xavier Bourret Sicotte,

Nella derivazione per , perché deve essere definito positivo? Sembra abbastanza che sia invertibile? Per una matrice invertibile , solo quando ?

μ

$\mu$

Σ

$\Sigma$

Σ

$\Sigma$

A

$A$

A x = 0

$Ax=0$

x = 0

$x=0$

— Tom Bennett,

Per chiarire, è una matrice che può avere componenti diagonali e non diagonali finite che indicano una correlazione tra vettori, giusto? In tal caso, in che senso questi vettori sono indipendenti? Inoltre, perché la funzione di probabilità congiunta è uguale alla probabilità? La densità articolare, , non dovrebbe essere uguale alla probabilità moltiplicata per il precedente, cioè ?

Σ

$\Sigma$

m \times m

$m \times m$

f (x, y)

$f(x,y)$

f (x | y) f (y)

$f(x|y)f(y)$

— Mathews24,

@TomBennett la matrice sigma è definita positiva per definizione - vedi stats.stackexchange.com/questions/52976/… per la prova. L'identità del calcolo della matrice richiede che la matrice sia simmetrica, non definita positiva. Ma poiché le matrici definite positive sono sempre simmetriche che funzionano

— Xavier Bourret Sicotte il

Sì, in effetti - l'indipendenza tra le osservazioni consente di ottenere la probabilità - la formulazione potrebbe essere abbastanza poco chiara - questa è la versione multivariata della probabilità. Il precedente è ancora irrilevante a prescindere

— Xavier Bourret Sicotte

Una prova alternativa per che prende direttamente il derivato rispetto a : $\widehat{\Sigma}$ $\Sigma$

Raccogliere con la verosimiglianza come sopra: dove e abbiamo usato le proprietà cicliche e lineari di . Per calcolare lo osserviamo prima

\begin{array}{rcl} ℓ (μ, Σ) & = & C - \frac{m}{2} \log | Σ | - \frac{1}{2} \sum_{i = 1}^{m} tr [(x^{(i)} - μ)^{T} Σ^{- 1} (x^{(i)} - μ)] \\ = & C - \frac{1}{2} (m \log | Σ | + \sum_{i = 1}^{m} tr [(x^{(i)} - μ) (x^{(i)} - μ)^{T} Σ^{- 1}]) \\ = & C - \frac{1}{2} (m \log | Σ | + tr [S_{μ} Σ^{- 1}]) \end{array}

$\begin{eqnarray} \ell(\mu, \Sigma) &=& C - \frac{m}{2}\log|\Sigma|-\frac{1}{2} \sum_{i=1}^m \text{tr}\left[(\mathbf{x}^{(i)}-\mu)^T \Sigma^{-1} (\mathbf{x}^{(i)}-\mu)\right]\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| + \sum_{i=1}^m\text{tr} \left[(\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T\Sigma^{-1} \right]\right)\\ &=&C - \frac{1}{2}\left(m\log|\Sigma| +\text{tr}\left[ S_\mu \Sigma^{-1} \right] \right) \end{eqnarray}$

S_{μ} = \sum_{i = 1}^{m} (x^{(i)} - μ) (x^{(i)} - μ)^{T}

$S_\mu = \sum_{i=1}^m (\mathbf{x}^{(i)}-\mu)(\mathbf{x}^{(i)}-\mu)^T$

tr

$\text{tr}$

\partial ℓ / \partial Σ

$\partial \ell /\partial \Sigma$

\frac{\partial}{\partial Σ} \log | Σ | = Σ^{- T} = Σ^{- 1}

$\frac{\partial}{\partial \Sigma} \log |\Sigma| = \Sigma^{-T}=\Sigma^{-1}$ dalla quarta proprietà sopra. Per prendere la derivata del secondo termine avremo bisogno della proprietà che (da The Matrix Cookbook , equazione 63). Applicando questo con otteniamo che perché sia che sono simmetrici. Poi

\frac{\partial}{\partial X} tr (A X^{- 1} B) = - (X^{- 1} B A X^{- 1})^{T} .

$\frac{\partial}{\partial X}\text{tr}\left( A X^{-1} B\right) = -(X^{-1}BAX^{-1})^T.$

B = I

$B=I$

\frac{\partial}{\partial Σ} tr [S_{μ} Σ^{- 1}] = - {(Σ^{- 1} S_{μ} Σ^{- 1})}^{T} = - Σ^{- 1} S_{μ} Σ^{- 1}

$\frac{\partial}{\partial \Sigma}\text{tr}\left[S_\mu \Sigma^{-1}\right] = -\left( \Sigma^{-1} S_\mu \Sigma^{-1}\right)^T = -\Sigma^{-1} S_\mu \Sigma^{-1}$

Σ

$\Sigma$

S_{μ}

$S_\mu$

\frac{\partial}{\partial Σ} ℓ (μ, Σ) \propto m Σ^{- 1} - Σ^{- 1} S_{μ} Σ^{- 1} .

$\frac{\partial}{\partial \Sigma}\ell(\mu, \Sigma) \propto m \Sigma^{-1} - \Sigma^{-1} S_\mu \Sigma^{-1}.$ Impostandolo su 0 e riordinando si ottiene

\hat{Σ} = \frac{1}{m} S_{μ} .

$\widehat{\Sigma} = \frac{1}{m}S_\mu.$

Questo approccio richiede più lavoro rispetto a quello standard che utilizza derivati rispetto a e richiede un'identità di traccia più complicata. L'ho trovato utile solo perché al momento ho bisogno di prendere derivati di una funzione di probabilità modificata per la quale sembra molto più difficile usare rispetto a . $\Lambda = \Sigma^{-1}$ $\partial/{\partial \Sigma^{-1}}$ $\partial/\partial \Sigma$

— Eric Kightley
fonte

Stimatori di massima verosimiglianza - Gaussiano multivariato

Contesto

Domanda

Esempi:

Derivazione degli stimatori di massima verosimiglianza

Derivandoμ^μ^\hat \mu

DerivandoΣ^Σ^\hat \Sigma

fonti

Derivando $\hat \mu$

Derivando $\hat \Sigma$