Perché il denominatore dello stimatore della covarianza non dovrebbe essere n-2 anziché n-1?

36

Il denominatore dello stimatore di varianza (imparziale) è quanto vi sono osservazioni e viene stimato solo un parametro. $n-1$ $n$

V (X) = \frac{\sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}}{n - 1}

$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Allo stesso modo, mi chiedo perché il denominatore di covarianza non dovrebbe essere quando vengono stimati due parametri? $n-2$

C o v (X, Y) = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{n - 1}

$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$

— MYaseen208
fonte

15

Se avete fatto questo, si avrebbe avuto due definizioni contrastanti per la varianza: uno sarebbe la prima formula e l'altro sarebbe la seconda formula applicato con .

Y = X

$Y=X$

— whuber

3

Una media bi / multivariata (aspettativa) è uno, non 2 parametri.

— ttnphns,

14

@ttnphns Non è vero: la media bivariata è ovviamente due parametri perché richiede due numeri reali per esprimerlo. (In effetti è un singolo parametro vettoriale , ma dire così nasconde solo il fatto che ha due componenti.) Ciò si manifesta esplicitamente nei gradi di libertà per i test t di varianza in pool, ad esempio, in cui viene sottratto , non . La cosa interessante di questa domanda è come rivela quanto sia vaga, irascibile e potenzialmente fuorviante la comune "spiegazione" che sottraggiamo da perché è stato stimato un parametro.

2

$2$

1

$1$

1

$1$

n

$n$

— whuber

@whuber, hai ragione. Se fosse solo (osservazioni indipendenti) ciò che conta non spenderemmo più df nei test multivariati che in quelli univariati.

n

$n$

— ttnphns,

3

@whuber: Direi forse che mostra che ciò che conta come "parametro" dipende dalla situazione. In questo caso la varianza viene calcolata su osservazioni $n$ e quindi ogni osservazione - o la media totale - può essere vista come un parametro, anche se è una media multivariata, come diceva ttnphns. Tuttavia, in altri casi, ad esempio quando un test considera combinazioni lineari di dimensioni, ogni dimensione di ciascuna osservazione diventa "un parametro". Hai ragione, questo è un problema difficile.

— ameba dice Ripristina Monica il

31

Le covarianze sono variazioni.

Da allora dall'identità di polarizzazione

Cov (X, Y) = Var (\frac{X + Y}{2}) - Var (\frac{X - Y}{2}),

$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$

i denominatori devono essere uguali.

— whuber
fonte

20

Un caso speciale dovrebbe darti un'intuizione; pensa a quanto segue:

\hat{C o v} (X, X) = \hat{V} (X)

$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$

Sei contento che quest'ultimo sia causa della correzione di Bessel. $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Ma sostituendo con in per il primo si ottiene $Y$ $X$ $\hat{\mathbb{Cov}}\left(X, Y\right)$ , quindi cosa pensi che potrebbe riempire meglio nel vuoto? $\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

— pesciolino d'argento
fonte

1

OK. Ma l'OP potrebbe chiedere "perché considerare cov (X, X) e cov (X, Y) come in una linea di logica? Perché stai sostituendo Y con X in cov () in modo superficiale? Forse cov (X, Y) è una situazione diversa? " Non lo hai evitato, mentre la risposta (altamente votata) dovrebbe avere, nella mia impressione :-)

— ttnphns

7

Una risposta rapida e sporca ... Consideriamo prima ; se aveste avuto osservazioni con valore atteso noto usereste $\text{var}(X)$ $n$ $E(X) = 0$ per stimare la varianza. ${1\over n}\sum_{i=1}^n X_i^2$

Poiché il valore atteso è sconosciuto, puoi trasformare le tue osservazioni in osservazioni con valore atteso noto prendendo per . Otterrai una formula con un nel denominatore, tuttavia non sono indipendenti e dovresti tenerne conto; alla fine troverai la solita formula. $n$ $n-1$ $A_i = X_i - X_1$ $i = 2, \dots,n$ $n-1$ $A_i$

Ora per la covarianza puoi usare la stessa idea: se il valore atteso di fosse , avresti avuto un $(X,Y)$ $(0,0)$ nella formula. Sottraendoa tutti gli altri valori osservati, si ottengonoosservazioni con valore atteso noto ... e ${1\over n}$ $(X_1,Y_1)$ $n-1$ nella formula - ancora una volta, questo introduce una certa dipendenza da tenere in considerazione. ${1\over n-1}$

PS Il modo migliore per farlo è scegliere una base ortonormale di , ovvero vettori tale che $\big\langle (1, \dots, 1)' \big\rangle^{\perp}$ $n-1$ $c_1, \dots, c_{n-1} \in \mathbb R^n$

per tutti , $\sum_j c_{ij}^2 = 1$ $i$
per tutti , $\sum_j c_{ij} = 0$ $i$
per tutti . $\sum_j c_{i_1j} c_{i_2j} = 0$ $i_1 \ne i_2$

È quindi possibile definire variabili e . Il valore sono indipendenti, aspettato , e hanno stessa varianza / covarianza rispetto alle variabili originali. $n-1$ $A_i = \sum_j c_{ij} X_j$ $B_i = \sum_j c_{ij} Y_j$ $(A_i,B_i)$ $(0,0)$

Il punto è che se vuoi liberarti delle aspettative sconosciute, lasci cadere una (e una sola) osservazione. Questo funziona allo stesso modo per entrambi i casi.

— Elvis
fonte

6

Ecco una prova che lo stimatore di covarianza del campione p-variata con denominatore è uno stimatore imparziale della matrice di covarianza: $\frac{1}{n-1}$

. $x' = (x_1,...,x_p)$

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

Per mostrare: $E(S) = \frac{n-1}{n}\Sigma$

Prova: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Il prossimo:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Pertanto: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

E così , con il denominatore finale $S_u = \frac{n}{n-1}S$ , è imparziale. Gli elementi off-diagonali disono le tue covarianze campione individuali. $\frac{1}{n-1}$ $S_u$

Note aggiuntive:

I n pareggi sono indipendenti. Questo è usato in (2) per calcolare la covarianza della media campionaria.
I passaggi (1) e (2) utilizzano il fatto che $Cov(x)= E[xx']-\mu\mu'$
Il passaggio (2) utilizza il fatto che $Cov(\bar{x})= \frac{1}{n}\Sigma$

— statchrist
fonte

La difficoltà di essere nel passaggio 2! :)

— Elvis

@Elvis È disordinato. È necessario applicare la regola Cov (X + Y, Z) = Cov (X, Z) + Cov (Y, Z) e riconoscere che le diverse estrazioni sono indipendenti. Quindi sostanzialmente riassume la covarianza n volte e ridimensionandola di 1 / n²

— statchrist

4

Immagino che un modo per costruire l'intuizione dietro l'uso di 'n-1' e non 'n-2' sia che per calcolare la varianza non abbiamo bisogno di de-significare sia X che Y, ma uno dei due, ovvero

$\sum (X-\mu_x)(Y - \mu_y) = \sum (X-\mu_x)Y \ \ \ or \ \ \ \sum (Y-\mu_y)X$

— Uditg_ucla
fonte

Potresti approfondire in che modo ciò influisce sulla questione di quale denominatore utilizzare? La relazione algebrica in evidenza deriva dal fatto che i residui relativi alla somma media sono pari a zero, ma per il resto tace su quale denominatore è rilevante.

— whuber

5

Sono venuto qui perché avevo la stessa domanda del PO. Penso che questa risposta arrivi al nocciolo del punto sopra indicato da @whuber: che la regola empirica è che df ~ = n - (parametri stimati) può essere "vago, irriverente e potenzialmente fuorviante". Ciò evidenzia il fatto che, sebbene sembri necessario stimare due parametri (xbar e ybar), in realtà ne stimate solo uno (xbar o ybar). Poiché il df dovrebbe essere lo stesso in entrambi i casi, deve essere il più basso dei due. Penso che sia l'intento qui.

— mpettis,

1

1) Avvia . $df=2n$

$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $df$ $\bar{X}$ $\bar{Y}$ $df=2(n-1)$

$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ $n$

A titolo di esempio banale, consideralo

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$

e ciò non include irrazionali e frazioni, ad es $24=2\sqrt{6}*2\sqrt{6}$ , in modo che quando moltiplichiamo due serie di numeri ed esaminiamo il loro prodotto, tutto ciò che vediamo sono i $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$ ,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$ , and, $\bar{z}=\bar{X}\bar{Y}$ . From the $z$ 's, which then clearly have $df=n-1$ , the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ .

Thus, the answer to the question is that the $df$ are halved by grouping.

— Carl
fonte

@whuber How on earth did I get the same thing posted twice and deleted once? What gives? Can we get rid of one of them? For future reference, is there any way to permanently delete such duplicates? I have a few hanging around and it's annoying.

— Carl

As far as I can tell, you reposted your answer from the duplicate to here. (Nobody else has the power to post answers in your name.) The system strongly discourages posting identical answers in multiple threads, so when I saw that, it convinced me these two threads are perfect duplicates and I "merged" them. This is a procedure that moves all comments and answers from the source thread to the target thread. I then deleted your duplicate post here in the target thread. It will remain permanently deleted, but will be visible to you as well as to people of sufficiently high reputation.

— whuber

@whuber I didn't know what happens in a merge, that a merge was taking place or what many of the rules are, despite looking things up constantly. It takes time to learn, be patient, BTW, would you consider taking stats.stackexchange.com/questions/251700/… off of Hold?

— Carl