Qual è la stima della massima verosimiglianza della covarianza dei dati normali bivariati quando si conoscono media e varianza?

Supponiamo di avere un campione casuale da una distribuzione normale bivariata che ha zero come mezzo e uno come varianza, quindi l'unico parametro sconosciuto è la covarianza. Qual è il MLE della covarianza? So che dovrebbe essere qualcosa come ma come facciamo a saperlo? $\frac{1}{n} \sum_{j=1}^{n}x_j y_j$

— Stacy
fonte

Come antipasto, non pensi che sia un po 'irriverente stimare i mezzi con e quando in realtà sappiamo che sono 0 e 0?

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

— Wolfgang,

Molto zio, risolto. Ancora non vedo come questo può facilmente seguire. È analogo alla varianza del campione, ma perché è il MLE (a meno che non lo sia e non ho fatto un altro errore)

— Stacy

Hai cancellato

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$ ? Prendendo questa formula non significa che si consideraecome le stime dei mezzi.

\bar{x}

$\bar x$

\bar{y}

$\bar y$

— Stéphane Laurent,

@ StéphaneLaurent Sì, nel post iniziale, la formula è stata data come l'hai scritta.

— Wolfgang,

Lo stimatore per il coefficiente di correlazione (che nel caso di uno standard bivariato normale è uguale alla covarianza)

\tilde{r} = \frac{1}{n} Σ_{io = 1}^{n} X_{io} y_{io}

$\tilde r = \frac 1n\sum_{i=1}^nx_iy_i$

è lo stimatore del metodo dei momenti, la covarianza del campione. Vediamo se coincide con lo stimatore della massima verosimiglianza, . $\hat \rho$

La densità congiunta di uno standard bivariata normale con coefficiente di correlazione IS $\rho$

f (X, y) = \frac{1}{2 π \sqrt{1 - ρ^{2}}} \exp {- \frac{X^{2} + y^{2} - 2 ρ X y}{2 (1 - ρ^{2})}}

$f(x,y) = \frac{1}{2 \pi \sqrt{1-\rho^2}} \exp\left\{-\frac{x^2 +y^2 -2\rho xy}{2(1-\rho^2)}\right\}$

e quindi la probabilità logaritmica di un campione iid di dimensione è $n$

\ln L = - n \ln (2 π) - \frac{n}{2} \ln (1 - ρ^{2}) - \frac{1}{2 (1 - ρ^{2})} \sum_{i = 1}^{n} (x_{i}^{2} + y_{i}^{2} - 2 ρ x_{i} y_{i})

$\ln L = -n\ln(2\pi) -\frac n2\ln(1-\rho^2) - \frac 1{2(1-\rho^2)}\sum_{i=1}^n(x_i^2 +y_i^2 -2\rho x_iy_i)$

(qui l'ipotesi IID è ovviamente relativa a ciascun disegno proveniente dalla popolazione bidimensionale)

Prendendo la derivata rispetto a e impostandola uguale a zero si ottiene un polinomio di grado 3d in : $\rho$ $\rho$

\hat{ρ} : n {\hat{ρ}}^{3} - (Σ_{io = 1}^{n} X_{io} y_{io}) {\hat{ρ}}^{2} - (1 - \frac{1}{n} Σ_{io = 1}^{n} (X_{io}^{2} + y_{io}^{2})) n \hat{ρ} - Σ_{io = 1}^{n} X_{io} y_{io} = 0

$\hat \rho: n\hat \rho^3 -\left(\sum_{i=1}^nx_iy_i\right)\hat\rho^2 -\left(1- \frac 1n\sum_{i=1}^n(x_i^2 +y_i^2) \right)n\hat \rho - \sum_{i=1}^nx_iy_i =0$

Che i calcoli siano corretti può essere verificato se si prende il valore atteso della derivata valutato al coefficiente reale -it sarà uguale a zero. $\rho$

Per compattezza, scrittura , che è la somma del campione varianze di e . Se dividiamo l'espressione della 1a derivata per apparirà lo stimatore MoM, in particolare $(1/n)\sum_{i=1}^n(x_i^2 +y_i^2) = (1/n)S_2$ $X$ $Y$ $n$

\hat{ρ} : {\hat{ρ}}^{3} - \tilde{r} {\hat{ρ}}^{2} + [(1 / n) S_{2} - 1] \hat{ρ} - \tilde{r} = 0

$\hat \rho: \hat \rho^3 -\tilde r \hat \rho^2 + \big[(1/n)S_2-1\big]\hat \rho -\tilde r=0$

\Rightarrow \hat{ρ} ({\hat{ρ}}^{2} - \tilde{r} \hat{ρ} + [(1 / n) S_{2} - 1]) = \tilde{r}

$\Rightarrow \hat \rho\Big(\hat \rho^2 -\tilde r \hat \rho + \big[(1/n)S_2-1\big] \Big) = \tilde r$

Facendo l'algebra, non è difficile concludere che otterremo se, e solo se, , cioè solo se accade che la somma delle varianze del campione sia uguale la somma delle variazioni reali. Quindi in generale $\hat \rho = \tilde r$ $(1/n)S_2 =2$

\hat{ρ} \neq \tilde{r}

$\hat \rho \neq \tilde r$

Quindi cosa succede qui? Qualcuno più saggio lo spiegherà, per il momento, proviamo una simulazione: ho generato un campione iid di due normali standard con coefficiente di correlazione . La dimensione del campione era . I valori del campione erano $\rho=0.6$ $n=1.000$

\sum_{i = 1}^{n} x_{i} y_{i} = 522.05, S_{2} = 1913.28

$\sum_{i=1}^nx_iy_i = 522.05,\;\;S_2 = 1913.28$

Lo stimatore del metodo dei momenti ci dà

\tilde{r} = \frac{522.05}{1000} = 0.522

$\tilde r = \frac {522.05}{1000} = 0.522$

Cosa succede con la verosimiglianza? Visivamente, abbiamo

inserisci qui la descrizione dell'immagine

Numericamente, abbiamo

\begin{array}{rrr} ρ & 1st deriv & lnL \\ 0.5 & - 70.92 & - 783.65 \\ 0.51 & - 59.41 & - 782.47 \\ 0.52 & - 47.7 & - 781.48 \\ 0.53 & - 35.78 & - 780.68 \\ 0.54 & - 23.64 & - 780.1 \\ 0.55 & - 11.29 & - 779.75 \\ 0.56 & 1.29 & - 779.64 \\ 0.57 & 14.1 & - 779.81 \\ 0.58 & 27.15 & - 780.27 \\ 0.59 & 40.44 & - 781.05 \\ 0.6 & 53.98 & - 782.18 \end{array}

$\begin{array}{| r | r | r |} \hline \hline ρ&\text{1st deriv}&\text{lnL}\\ \hline 0.5&-70.92&-783.65\\ 0.51&-59.41&-782.47\\ 0.52&-47.7&-781.48\\ 0.53&-35.78&-780.68\\ 0.54&-23.64&-780.1\\ 0.55&-11.29&-779.75\\ 0.56&1.29&-779.64\\ 0.57&14.1&-779.81\\ 0.58&27.15&-780.27\\ 0.59&40.44&-781.05\\ 0.6&53.98&-782.18\\ \hline \end{array}$

e vediamo che la probabilità logaritmica ha un massimo un po 'prima di dove anche la prima derivata diventa zero . Nessuna sorpresa per i valori di non mostrati. Inoltre, la prima derivata non ha altra radice. $\rho=0.56$ $(\hat \rho = 0.558985)$ $\rho$

Quindi questa simulazione concorda con il risultato che lo stimatore della massima verosimiglianza non eguaglia il metodo dello stimatore dei momenti (che è la covarianza del campione tra i due camper).

Ma sembra che "tutti" stiano dicendo che dovrebbe ... quindi qualcuno dovrebbe trovare una spiegazione.

AGGIORNARE

Un riferimento che dimostra che il MLE è lo stimatore del metodo dei momenti: Anderson, TW, & Olkin, I. (1985). Stima della massima verosimiglianza dei parametri di una distribuzione normale multivariata. Algebra lineare e sue applicazioni, 70, 147-171.
Importa che qui tutti i mezzi e le varianze sono liberi di variare e non fissati?

... Probabilmente sì, perché il commento di @ guy in un'altra risposta (ora eliminata) dice che, con determinati parametri di media e varianza, la normale bivariata diventa un membro della famiglia esponenziale curva (e quindi alcuni risultati e proprietà cambiano) ... che sembra essere l'unico modo per conciliare i due risultati.

— Alecos Papadopoulos
fonte

Questo è un po 'sorprendente, ma dopo qualche riflessione dovrebbe essere previsto. Il problema può essere riformulato come stima del coefficiente di regressione nel modello dove . Questo non è un modello lineare, quindi non c'è motivo di aspettarsi che l'MLE sia un semplice prodotto a punti. La stessa logica mostra (penso!) Che se conosciamo solo allora l'MLE è e se conosciamo solo . Se non conosciamo nessuno dei due, otteniamo il tuo stimatore MOM.

ρ

$\rho$

Y = ρ X + ϵ

$Y = \rho X + \epsilon$

ϵ \sim N (0, {\sqrt{1 - ρ^{2}}}^{2})

$\epsilon \sim \mathcal N(0, \sqrt{1 - \rho^2}^2)$

Var (X)

$\mbox{Var}(X)$

x^{'} y / x^{'} x

$x'y / x'x$

x^{'} y / y^{'} y

$x'y / y'y$

Var (Y)

$\mbox{Var}(Y)$

— ragazzo

@guy: molto interessante. Penso che questi argomenti, se leggermente ampliati, meritino pienamente di essere pubblicati come una risposta separata!

— amoeba,

@guy Non penso che questa formulazione sia equivalente, perché la probabilità logaritmica nella configurazione di regressione contiene il quadrato . Il coefficiente attaccato a non è presente nella formulazione della densità bivariata.

ϵ^{2} = (y - ρ x)^{2} = y^{2} - 2 ρ x y + ρ^{2} x^{2}

$\epsilon^2=(y-\rho x)^2 = y^2 -2\rho xy + \rho^2 x^2$

ρ^{2}

$\rho^2$

x^{2}

$x^2$

— Alecos Papadopoulos,

La mia ipotesi è . Immagina e , quindi è prevista una stima .

\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(y_i - \bar y)$

n = 2

$n=2$

y_{1} = y_{2}

$y_1=y_2$

0

$0$

— Stéphane Laurent,

@AlecosPapadopoulos . Il termine è cancellato dal denominatore , quindi l'unico termine dai dati che contribuisce alla tua verosimiglianza originale è . Ma questo è anche immediato dalla nota fattorizzazione , . Le mie altre affermazioni sono errate, poiché ho trascurato di includere il termine in esse.

x^{2} + y^{2} - 2 ρ x y = (1 - ρ^{2}) x^{2} + (y - ρ x)^{2}

$x^2 + y^2 - 2\rho x y = (1 - \rho^2) x^2 + (y - \rho x)^2$

(1 - ρ^{2}) x^{2}

$(1 - \rho^2) x^2$

(1 - ρ^{2})

$(1 - \rho^2)$

(y - ρ x)^{2} / (1 - ρ^{2})

$(y - \rho x)^2 / (1 - \rho^2)$

X \sim N (μ_{X}, σ_{X}^{2})

$X \sim N(\mu_X, \sigma^2_X)$

[Y | X] \sim N (μ_{Y} + ρ_{X} \frac{σ_{Y}}{σ_{X}} (X - μ_{X}), σ_{Y | X}^{2} {\sqrt{1 - ρ^{2}}}^{2})

$[Y|X] \sim N(\mu_Y + \rho_X \frac{\sigma_Y}{\sigma_X} (X - \mu_X), \sigma^2_{Y|X} \sqrt{1 - \rho^2}^2)$

σ_{Y} / σ_{X}

$\sigma_Y/\sigma_X$

— ragazzo

Nelle condizioni indicate ( e ), la funzione di probabilità per un campione casuale di dimensione è $\mu_X = \mu_Y = 0$ $\sigma_X = \sigma_Y = 1$ $n$

L (ρ | X, Y) = \frac{1}{(2 π [1 - ρ^{2}])^{n / 2}} \exp [- \frac{1}{2 (1 - ρ^{2})} (X^{'} X - 2 ρ X^{'} Y + Y^{'} Y)] .

$L(\rho\; |\; X, Y) = \frac{1}{(2\pi[1-\rho^2])^{n/2}}\exp \left[-\frac{1}{2(1-\rho^2)}(X'X - 2\rho X'Y + Y'Y)\right].$

Ora trova la verosimiglianza e prendi la derivata rispetto a . Quindi, impostalo uguale a 0, risolvendo per . Ovviamente dovresti fare alcuni test appropriati per mostrare che quello che hai trovato è in realtà un massimo globale. $\rho$ $\hat{\rho}$

— Dennis
fonte