Come prendere derivati della densità normale multivariata?

Supponiamo che io abbia una densità normale multivariata . Voglio ottenere il secondo (parziale) derivato wrt . Non sono sicuro di come prendere la derivata di una matrice. $N(\mu, \Sigma)$ $\mu$

Wiki dice di prendere l'elemento derivato per elemento all'interno della matrice.

Sto lavorando con l'approssimazione di Laplace La modalità è .

\log P_{N} (θ) = \log P_{N} - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ}) .

$\log{P}_{N}(\theta)=\log {P}_{N}-\frac{1}{2}{(\theta-\hat{\theta})}^{T}{\Sigma}^{-1}(\theta-\hat{\theta}) \>.$

\hat{θ} = μ

$\hat\theta=\mu$

Mi è stato dato come è potuto succedere?

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (\hat{θ} | y),

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\hat{\theta }|y),$

Cosa ho fatto:

\log P (θ | y) = - \frac{k}{2} \log 2 π - \frac{1}{2} \log | Σ | - \frac{1}{2} {(θ - \hat{θ})}^{T} Σ^{- 1} (θ - \hat{θ})

$\log P(\theta|y) = -\frac{k}{2} \log 2 \pi - \frac{1}{2} \log \left| \Sigma \right| - \frac{1}{2} {(\theta-\hat \theta)}^{T}{\Sigma}^{-1}(\theta-\hat\theta)$

Quindi, prendo la derivata wrt a , prima di tutto, c'è una trasposizione, in secondo luogo, è una matrice. Quindi, sono bloccato. $\theta$

Nota: se il mio professore si imbatte in questo, mi riferisco alla lezione.

self-study normal-distribution matrix

— user1061210
fonte

parte del tuo problema potrebbe essere che la tua espressione per la verosimiglianza presenta un errore - haidove dovresti avere . Inoltre, per caso intendevi ?

| Σ |

$|\Sigma|$

\log (| Σ |)

$\log(|\Sigma|)$

Σ^{- 1} = - \frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y)

${\Sigma}^{-1}=-\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y)$

— Macro

Sì, hai ragione, scusa. Perché c'è un segno negativo davanti al derivato parziale?

— user1061210

Stavo solo chiarendo il segno negativo perché, il secondo derivato negativo è l'informazione osservata sul pescatore, che di solito è di interesse. Inoltre, secondo il mio calcolo, sto scoprendo che

\frac{\partial^{2}}{\partial θ^{2}} \log p (θ | y) = - Σ^{- 1}

$\frac{{{\partial }^{2}}}{\partial {{\theta }^{2}}}\log p(\theta|y) = -\Sigma^{-1}$

— Macro

Quindi, qual è la procedura generale per la funzione discreta / continua? Prendi log, scrivi nel modulo di espansione di Taylor, differenzia due volte wrt . Le informazioni di Fisher non sono generalmente vere la maggior parte delle altre densità, giusto?

θ

$\theta$

— user1061210

@user Come ho sottolineato, la seconda derivata del logaritmo deve avere autovalori non positivi. Sì, ci sono collegamenti tra varianze e derivati secondari parziali negativi, come rivela la teoria della stima della massima verosimiglianza, informazioni di Fisher, ecc. - Macro ha fatto riferimento a quello prima in questi commenti.

— whuber

Risposte:

Nel capitolo 2 del Matrix Cookbook c'è una bella rassegna delle cose sul calcolo della matrice che fornisce molte identità utili che aiutano a risolvere i problemi che si incontrerebbero facendo probabilità e statistiche, comprese le regole per aiutare a differenziare la probabilità multirariata gaussiana.

Se hai un vettore casuale che è multivariato normale con il vettore medio e la matrice di covarianza , usa l'equazione (86) nel ricettario della matrice per scoprire che il gradiente di la probabilità del log rispetto a è ${\boldsymbol y}$ ${\boldsymbol \mu}$ ${\boldsymbol \Sigma}$ ${\bf L}$ ${\boldsymbol \mu}$

\begin{aligned} \frac{\partial L}{\partial μ} & = - \frac{1}{2} (\frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial μ}) \\ = - \frac{1}{2} (- 2 Σ^{- 1} (y - μ)) \\ = Σ^{- 1} (y - μ) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \mu}} &= -\frac{1}{2} \left( \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) }{\partial {\boldsymbol \mu}} \right) \nonumber \\ &= -\frac{1}{2} \left( -2 {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu}\right) \right) \nonumber \\ &= {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \end{align}$

Lascerò a te differenziarlo di nuovo e trovare la risposta . $-{\boldsymbol \Sigma}^{-1}$

Come "credito extra", usa le equazioni (57) e (61) per scoprire che il gradiente rispetto a è ${\boldsymbol \Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (\frac{\partial \log (| Σ |)}{\partial Σ} + \frac{\partial {(y - μ)}^{'} Σ^{- 1} (y - μ)}{\partial Σ}) \\ = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( \frac{ \partial \log(|{\boldsymbol \Sigma}|)}{\partial{\boldsymbol \Sigma}} + \frac{\partial \left( {\boldsymbol y} - {\boldsymbol \mu}\right)' {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y}- {\boldsymbol \mu}\right) }{\partial {\boldsymbol \Sigma}} \right)\\ &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) \end{align}$

Ho tralasciato molti passaggi, ma ho fatto questa derivazione usando solo le identità trovate nel ricettario della matrice, quindi ti lascerò a te per colmare le lacune.

Ho usato queste equazioni del punteggio per la stima della massima verosimiglianza, quindi so che sono corrette :)

— macro
fonte

Grande riferimento - lo avrei raccomandato da solo. Non è un buon riferimento pedagogico per qualcuno che non conosce l'algebra matriciale. La vera sfida deriva dall'effettiva elaborazione di . Un vero dolore.

Σ

$\Sigma$

— Probislogic

Un'altra buona fonte sul calcolo della matrice è Magnus & Neudecker, amazon.com/…

— StasK

Il numero di riferimento dell'equazione è stato modificato (forse a causa di una nuova edizione). La nuova equazione di riferimento è 86.

— goelakash,

Potrei essere fuori base qui, ma non credo che questa formula sia corretta. Ho usato questo con esempi reali e ho esaminato le loro differenze finite. Sembra che la formula per fornisca i valori corretti per le voci diagonali. Tuttavia, le voci fuori diagonale sono la metà di ciò che dovrebbero essere.

\frac{\partial L}{\partial Σ}

$\frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}}$

— jjet

Devi assicurarti di occuparti adeguatamente degli elementi ripetuti in , altrimenti i tuoi derivati non saranno corretti. Ad esempio, (141) il libro di cucina Matrix fornisce un simmetrico i seguenti derivati $\mathbf{\Sigma}$ $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial \log | Σ |}{\partial Σ} & = 2 Σ^{- 1} - (Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \log|\mathbf{\Sigma}|}{\partial \mathbf{\Sigma}}&=2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) \end{align}$

E (14) di differenziazione delle funzioni delle matrici di covarianza dà

\begin{aligned} \frac{\partial trace (Σ^{- 1} x x^{⊤})}{\partial Σ} & = - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I) \end{aligned}

$\begin{align} \frac{\partial \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)}{\partial \mathbf{\Sigma}}&=-2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I) \end{align}$

dove indica il prodotto Hadmard e per comodità abbiamo definito . $\circ$ $\mathbf{x}:=\mathbf{y}-\mathbf{\mu}$

Nota in particolare che questo non è lo stesso di quando non viene imposta la simmetria di . Di conseguenza abbiamo quello $\mathbf{\Sigma}$

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{\partial}{\partial Σ} \frac{1}{2} (D \log | 2 π | + \log | Σ | + x^{⊤} Σ^{- 1} x)) \\ = - \frac{\partial}{\partial Σ} \frac{1}{2} (\log | Σ | + trace (Σ^{- 1} x x^{⊤})) \\ = - \frac{1}{2} (2 Σ^{- 1} - (Σ^{- 1} \circ I) - 2 Σ^{- 1} x x^{⊤} Σ^{- 1} + (Σ^{- 1} x x^{⊤} Σ^{- 1} \circ I)) \end{aligned}

$\begin{align} \frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}&=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left(D\log|2\pi|+ \log|\mathbf{\Sigma}| + \mathbf{x}^{\top}\mathbf{\Sigma}^{-1}\mathbf{x})\right)\\ &=-\frac{\partial }{\partial \mathbf{\Sigma}}\frac{1}{2}\left( \log|\mathbf{\Sigma}| + \textrm{trace}(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top)\right)\\ &=-\frac{1}{2}\left( 2\mathbf{\Sigma}^{-1}-(\mathbf{\Sigma}^{-1}\circ I) -2\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}+(\mathbf{\Sigma}^{-1}\mathbf{x}\mathbf{x}^\top\mathbf{\Sigma}^{-1}\circ I)\right) \end{align}$

dove indica la dimensione di , e e la derivata diè 0 $D$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{\mu}$ $D\log|2\pi|$

Questo assicura che elemento di corrisponde a . $i,j^{th}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}}$ $\frac{\partial \mathbf{L}}{\partial \mathbf{\Sigma}_{ij}}$

— Lawrence Middleton
fonte

Ho provato a verificare computazionalmente la risposta di @ Macro ma ho trovato quello che sembra essere un errore minore nella soluzione di covarianza. Ha ottenuto Tuttavia, sembra che la soluzione corretta sia in realtà Il seguente script R fornisce un semplice esempio in cui viene calcolata la differenza finita per ciascun elemento di . Dimostra che

\begin{aligned} \frac{\partial L}{\partial Σ} & = - \frac{1}{2} (Σ^{- 1} - Σ^{- 1} (y - μ) {(y - μ)}^{'} Σ^{- 1}) = A \end{aligned}

$\begin{align} \frac{ \partial {\bf L} }{ \partial {\boldsymbol \Sigma}} &= -\frac{1}{2} \left( {\boldsymbol \Sigma}^{-1} - {\boldsymbol \Sigma}^{-1} \left( {\boldsymbol y} - {\boldsymbol \mu} \right) \left( {\boldsymbol y} - {\boldsymbol \mu} \right)' {\boldsymbol \Sigma}^{-1} \right) ={\bf A} \end{align}$

B = 2 A - diag (A)

${\bf B}=2{\bf A} - \text{diag}({\bf A})$

Σ

${\boldsymbol \Sigma}$

A

${\bf A}$ fornisce la risposta corretta solo per gli elementi diagonali mentre è corretta per ogni voce.

B

${\bf B}$

library(mvtnorm)

set.seed(1)

# Generate some parameters
p <- 4
mu <- rnorm(p)
Sigma <- rWishart(1, p, diag(p))[, , 1]

# Generate an observation from the distribution as a reference point
x <- rmvnorm(1, mu, Sigma)[1, ]

# Calculate the density at x
f <- dmvnorm(x, mu, Sigma)

# Choose a sufficiently small step-size
h <- .00001

# Calculate the density at x at each shifted Sigma_ij
f.shift <- matrix(NA, p, p)
for(i in 1:p) {
  for(j in 1:p) {
    zero.one.mat <- matrix(0, p, p)
    zero.one.mat[i, j] <- 1
    zero.one.mat[j, i] <- 1

    Sigma.shift <- Sigma + h * zero.one.mat
    f.shift[i, j] <- dmvnorm(x, mu, Sigma.shift)
  }
}

# Caluclate the finite difference at each shifted Sigma_ij
fin.diff <- (f.shift - f) / h

# Calculate the solution proposed by @Macro and the true solution
A <- -1/2 * (solve(Sigma) - solve(Sigma) %*% (x - mu) %*% t(x - mu) %*% solve(Sigma))
B <- 2 * A - diag(diag(A))

# Verify that the true solution is approximately equal to the finite difference
fin.diff
A * f
B * f

— jjet
fonte

Grazie per il tuo commento. Credo che tu interpreti la notazione in modo diverso rispetto a tutti gli altri, perché cambi contemporaneamente coppie di elementi off-diagonali corrispondenti di , raddoppiando così l'effetto del cambiamento. In effetti stai calcolando un multiplo di un derivato direzionale. Sembra esserci un piccolo problema con la soluzione di Macro nella misura in cui dovrebbe essere preso un recepimento - ma ciò non cambierebbe nulla nell'applicazione in matrici simmetriche.

Σ

$\Sigma$

— whuber

Come prendere derivati ​​della densità normale multivariata?

Come prendere derivati della densità normale multivariata?