Come garantire le proprietà della matrice di covarianza quando si adatta il modello normale multivariato utilizzando la massima probabilità?

22

Supponiamo di avere il seguente modello

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

dove , è un vettore di variabili esplicative, sono i parametri della funzione non lineare e , dove è naturalmente matrice. $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

L'obiettivo è il solito per stimare e . La scelta ovvia è il metodo della massima verosimiglianza. log per questo modello (supponendo che abbiamo un campione ) sembra $\theta$ $\Sigma$ $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

Ora questo sembra semplice, la probabilità di log viene specificata, inserita nei dati e utilizza un algoritmo per l'ottimizzazione non lineare. Il problema è come garantire che $\Sigma$ sia definito positivo. L'uso ad esempio optimin R (o in qualsiasi altro algoritmo di ottimizzazione non lineare) non mi garantirà che $\Sigma$ sia definito positivo.

Quindi la domanda è: come garantire che $\Sigma$ rimanga positivo definito? Vedo due possibili soluzioni:

Rigarametrare $\Sigma$ come $RR'$ dove $R$ è una matrice triangolare superiore o simmetrica. Quindi $\Sigma$ sarà sempre definito positivo e $R$ può essere vincolato.
Usa la probabilità del profilo. Deriva le formule per $\hat\theta(\Sigma)$ e $\hat{\Sigma}(\theta)$ . Inizia con alcuni $\theta_0$ e iterate $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ fino alla convergenza.

C'è qualche altro modo e che dire di questi 2 approcci, funzioneranno, sono standard? Questo sembra un problema piuttosto standard, ma la ricerca rapida non mi ha dato alcun suggerimento. So che sarebbe anche possibile una stima bayesiana, ma per il momento non vorrei impegnarmi.

maximum-likelihood optimization covariance

— mpiktas
fonte

Ho lo stesso problema in un algoritmo di Kalman, ma il problema è molto più complicato e non facile da usare con il trucco di Hamilton. Mi chiedo quindi se una cosa più semplice da fare sarebbe semplicemente usare . In questo modo forzo il codice a non dare un errore e non cambio la soluzione. Ciò ha anche il vantaggio di forzare questo termine ad avere lo stesso segno della parte finale della probabilità. Qualche idea?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo,

6

Supponendo che nel costruire la matrice di covarianza, ti occupi automaticamente del problema della simmetria, la tua probabilità logaritmica sarà quando non è definita positivamente a causa del termine nel modello giusto? Per evitare un errore numerico se vorrei precalcolare e, se non è positivo, renderebbe uguale la probabilità del log -Inf, altrimenti continua. Devi comunque calcolare il determinante, quindi questo non ti costa alcun calcolo extra. $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— macro
fonte

5

A quanto pare è possibile utilizzare la massima verosimiglianza del profilo per garantire le proprietà necessarie. Puoi provare che per dato , è massimizzato da $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

dove

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

Quindi è possibile dimostrarlo

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

quindi dobbiamo solo massimizzare

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

Naturalmente in questo caso soddisferà tutte le proprietà necessarie. Le prove sono identiche per il caso in cui è lineare, che può essere trovato in Analisi delle serie temporali di JD Hamilton a pagina 295, quindi le ho omesse. $\Sigma$ $f$

— mpiktas
fonte

3

Una parametrizzazione alternativa per la matrice di covarianza è in termini di autovalori e angoli "Givens" . $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

Cioè, possiamo scrivere

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

dove è ortonormale e $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

con . $\lambda_1 \geq ... \geq \lambda_p \geq 0$

Nel frattempo, può essere parametrizzato in modo univoco in termini di angoli, , dove e . [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(dettagli da aggiungere)

[1]: Hoffman, Raffenetti, Ruedenberg. "Generalizzazione degli angoli di Eulero verso le matrici ortogonali N-dimensionali". J. Math. Phys. 13, 528 (1972)

— charles.y.zheng
fonte

La matrice è in realtà ortogonale, perché è una matrice simmetrica. Questo è l'approccio che stavo per raccomandare - Fondamentalmente equivale a ruotare il vettore e la funzione del modello modo che gli errori siano indipendenti, quindi applicare OLS a ciascuno dei componenti ruotati (penso).

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— Probislogic

2

Sulla falsariga della soluzione charles.y.zheng, potresti voler modellare , dove è una matrice diagonale e è una fattorizzazione di Cholesky di un aggiornamento di rango a . Solo allora devi mantenere la diagonale di positivo per mantenere positivo definito. Cioè, dovresti stimare la diagonale di e gli elementi di invece di stimare . $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
fonte

Gli elementi sotto la diagonale in queste impostazioni possono essere tutto ciò che desidero purché la diagonale sia positiva? Quando simulate le matrici in questo modo in modo intorpidito, non tutte sono definite positive.

— sztal

è una matrice diagonale.

Λ

$\Lambda$

— shabbychef,