In che modo esattamente gli statistici hanno accettato di usare (n-1) come lo stimatore imparziale per la varianza della popolazione senza simulazione?

67

La formula per la varianza informatica ha nel denominatore: $(n-1)$

$s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1}$

Mi sono sempre chiesto perché. Tuttavia, leggere e guardare alcuni buoni video sul "perché" è, a quanto pare, è un buon stimatore imparziale della varianza della popolazione. Considerando che sottovaluta e sopravvaluta la varianza della popolazione. $(n-1)$ $n$ $(n-2)$

Quello che sono curioso di sapere è che nell'era dei computer non è stata esattamente questa scelta? Esiste un'effettiva prova matematica che lo dimostra o questo puramente empirico e gli statistici hanno fatto MOLTI calcoli a mano per trovare la "migliore spiegazione" al momento?

In che modo gli statistici hanno ideato questa formula all'inizio del XIX secolo con l'aiuto dei computer? Manuale o c'è di più di quello che sembra?

— dottorato di Ricerca
fonte

13

Presumo che tu intenda dire " senza l'aiuto dei computer". La risposta è - forse non sorprende - dall'uso dell'algebra. La derivazione è piuttosto semplice e in molti luoghi è comune per gli studenti di statistica derivarla come esercizio / apprenderla come studente universitario.

— Glen_b,

Penso che questo dia una spiegazione abbastanza buona: en.wikipedia.org/wiki/Variance#Sample_variance

— Verena Haunschmid,

5

Molto strettamente correlato: Perché la deviazione standard del campione è uno stimatore distorto di

σ

$\sigma$

e spiegazione intuitiva per la divisione per nel calcolo di sd?

n - 1

$n-1$ .

— whuber

Ho modificato la tua formula per usare e poiché nel denominatore è per la varianza del campione (simboli latini) e non per la varianza della popolazione (simboli greci).

s^{2}

$s^{2}$

\bar{x}

$\bar{x}$

n - 1

$n-1$

— Alexis,

40

La correzione si chiama correzione di Bessel e ha una prova matematica. Personalmente, mi è stato insegnato in modo semplice: usare è come correggere il bias di (vedi qui ). $n-1$ $E[\frac{1}{n}\sum_1^n(x_i - \bar x)^2]$

Puoi anche spiegare la correzione in base al concetto di gradi di libertà, la simulazione non è strettamente necessaria.

— mugen
fonte

15

La prova alternativa n. 3 ha una bella spiegazione intuitiva che anche un laico può capire. L'idea di base è che la media del campione non è la stessa della media della popolazione. Le tue osservazioni saranno naturalmente più vicine alla media del campione rispetto alla media della popolazione, e questo finisce per sottovalutare quei termini con termini. Questo è probabilmente ovvio per la maggior parte delle persone, ma non ho mai pensato all '"intuizione" sul motivo per cui la varianza del campione parziale è distorta fino ad ora. Ho imparato solo le prove formali.

(x_{i} - μ)^{2}

$(x_i - \mu)^2$

(x_{i} - \bar{x})^{2}

$(x_i - \bar{x})^2$

— WetlabStudent,

2

Esiste anche un approccio geometrico sul perché correggere con n-1 (spiegato molto bene in Saville e Wood: metodi statistici: l'approccio geometrico). In breve: un campione di n può essere considerato come uno spazio dati n-dimensionale. I vettori dei punti campione si aggiungono a un vettore osservato che può essere scomposto in un vettore modello con dimensione p corrispondente al parametro p e un vettore errore con dimensione np. La corrispondente scomposizione pitagorica del vettore di errore ha np quadrati la cui media è una misura per la variazione.

— giordano,

Ti darò un bellissimo link che contiene una breve spiegazione: en.wikipedia.org/wiki/Bias_of_an_estimator

— Christina,

Puoi spiegare perché nella dimostrazione (alternativa 3) assumiamo che le varianze sia vere che distorte calcolate usando 's? Il problema delle diverse varianze sorge quando abbiamo una popolazione (con varianza reale) e un campione (con varianza distorta). Ma se calcoliamo la varianza sugli stessi dati, vale a dire , perché dovrebbero mai differire? Lì pensiamo a come una vera varianza calcolata usando esattamente le stesse quella distorta . Non posso essere d'accordo con questa prova. Per favore aiuto, cosa mi sto perdendo?

n

$n$

x

$x$

x_{1}, x_{2}, . . ., x_{n}

$x_1, x_2, ... , x_n$

σ^{2}

$\sigma^2$

x

$x$

s_{biased}^{2}

$s_\text{biased}^2$

— Turkhan Badalov,

56

La maggior parte delle prove che ho visto sono abbastanza semplici che Gauss (comunque lo abbia fatto) probabilmente ha trovato abbastanza facile dimostrarlo.

Ho cercato una derivazione sul CV a cui potrei collegarti (ci sono un certo numero di collegamenti a prove fuori sede, incluso almeno uno nelle risposte qui), ma non ne ho trovato uno qui sul CV in un un paio di ricerche, quindi per completezza, ne darò una semplice. Data la sua semplicità, è facile vedere come le persone inizierebbero a usare quella che di solito viene chiamata la correzione di Bessel .

Questo prende come conoscenza presunta e presuppone che siano note le prime proprietà di varianza di base . $E(X^2)=\text{Var}(X) + E(X)^2$

\begin{array}{rcl} E [\sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}] & = & E [\sum_{i = 1}^{n} x_{i}^{2} - 2 \bar{x} \sum_{i = 1}^{n} x_{i} + n {\bar{x}}^{2}] \\ = & E [\sum_{i = 1}^{n} x_{i}^{2} - n {\bar{x}}^{2}] \\ = & n E [x_{i}^{2}] - n E [{\bar{x}}^{2}] \\ = & n (μ^{2} + σ^{2}) - n (μ^{2} + σ^{2} / n) \\ = & (n - 1) σ^{2} \end{array}

$\begin{eqnarray} E[\sum_{i=1}^{n} (x_i-\bar x)^2] &=& E[\sum_{i=1}^{n} x_i^2-2\bar x\sum_{i=1}^{n} x_i+n\bar{x}^2]\\ &=& E[\sum_{i=1}^{n} x_i^2-n\bar{x}^2] \\ &=& n E[x_i^2]- n E[\bar{x}^2]\\ &=& n (\mu^2 + \sigma^2) - n(\mu^2+\sigma^2/n)\\ &=& (n-1) \sigma^2 \end{eqnarray}$

— Glen_b
fonte

1

quale proprietà fa scomparire il termine ?

- 2 \bar{x} \sum_{i = 1}^{n} x_{i}

$-2\bar{x}\sum_{i=1}^{n}x_i$

— Ciprian Tomoiagă,

3

Non scompare. Hai notato che il segno dell'ultimo termine è cambiato?

— Glen_b,

1

(+1) Di recente ho sentito una grande prova che trovo personalmente più intuitiva. La varianza del campione con fattore può essere riespressa come media di tutte le differenze al quadrato tra tutti i punti di coppia. Ora nota che le coppie in cui lo stesso punto viene inserito due volte sono tutte zero e questo distorce l'espressione. Sembra ragionevole correggere il bias escludendo tutte queste coppie dalla doppia somma e facendo una media solo per il resto. Ciò produce la correzione di Bessel.

1 / n

$1/n$

— ameba dice di reintegrare Monica il

1

No, non importa, l'ho capito. , quindi stai solo applicando la stessa identità che hai menzionato sopra a entrambi i termini nella riga 3.

V [\bar{x}] = \frac{V [x]}{n}

$V[\bar{x}] = \frac{V[x]}{n}$

— tel

1

Qualunque dei variati di iid ha lo stesso secondo momento. Passiamo dal parlare di tutti loro al solo discutere di uno di essi. Avresti potuto facilmente prendere (e alcune persone lo fanno) o o ... ma ho preso l' -esimo

x_{1}

$x_1$

x_{2}

$x_2$

x_{n}

$x_n$

i

$i$

— Glen_b

37

Secondo il World of Mathematics di Weisstein, fu dimostrato per la prima volta da Gauss nel 1823. Il riferimento è il volume 4 di Wusske di Gauss, che può essere letto su https://archive.org/details/werkecarlf04gausrich . Le pagine pertinenti sembrano essere 47-49. Sembra che Gauss abbia indagato sulla domanda e ne abbia fornito una prova. Non leggo il latino, ma nel testo c'è un riassunto tedesco. Le pagine 103-104 spiegano cosa ha fatto (modifica: ho aggiunto una traduzione approssimativa):

Allein da man nicht berechtigt ist, die sichersten Werthe fuer die wahren Werthe selbst zu halten, so ueberzeugt man sich leicht, dass man durch diees Verfahren allemal den wahrscheinlichsten und mittleren Fehler zu klein finden muss, und risultati als sie wirklich besitzen. [Ma dal momento che non si ha il diritto di trattare i valori più probabili come se fossero i valori effettivi, si può facilmente convincersi che si deve sempre trovare che l'errore più probabile e l'errore medio sono troppo piccoli e che quindi i risultati forniti possiedono una precisione maggiore di quella che hanno realmente.]

da cui sembrerebbe risaputo che la varianza del campione è una stima distorta della varianza della popolazione. L'articolo continua dicendo che la differenza tra i due viene generalmente ignorata perché non è importante se la dimensione del campione è abbastanza grande. Quindi dice:

Der Verfasser hat daher diesen Gegenstand eine besondere Untersuchung unterworfen, die zu einem sehr Merkwuerdigen hoechst einfachen Risultato cappello gefuehrt. Braucht nemlich den nach dem angezeigten fahlerhaften Verfahren gefundenen mittleren Fehler, um ihn in die richtigen zu verwandeln, nur mit

$\sqrt{\frac{π - ρ}{π}}$ $\sqrt{\frac{\pi-\rho}{\pi}}$
zu multiplicieren, wo morire Anzahl der beobachtungen (numero di osservazioni) und die Anzahl der Groessen unbekannten (numero di incognite) bedeutet. [L'autore ha quindi fatto uno studio speciale su questo oggetto che ha portato a un risultato molto strano ed estremamente semplice. Vale a dire, basta moltiplicare l'errore medio rilevato dal precedente processo errato per (l'espressione data) per cambiarlo in quello giusto, dove è il numero di osservazioni e è il numero di quantità sconosciute.] $\pi$ $\rho$ $\pi$ $\rho$

Quindi se questa è davvero la prima volta che la correzione è stata trovata, allora sembra che sia stata trovata da un calcolo intelligente di Gauss, ma le persone erano già consapevoli che era necessaria una correzione, quindi forse qualcun altro avrebbe potuto trovarla empiricamente prima di questo . O forse agli autori precedenti non importava ricavare la risposta precisa perché stavano comunque lavorando con set di dati abbastanza grandi.

Riepilogo: manuale, ma la gente sapeva già che nel denominatore non era del tutto corretto. $n$

— Flounderer
fonte

Se qualcuno potesse fornire una traduzione del tedesco, sarebbe bello. Io per primo non leggo il tedesco.

— Faheem Mitha,

2

Sì, Google Translate non funziona così bene a causa dei miei errori di ortografia! Aggiungerò un tentativo di traduzione; sarà un buon modo di praticare il mio tedesco.

— Flounderer,

14

Per me un pezzo di intuizione è quello

\begin{matrix} The degree to which \\ X_{i} varies from \bar{X} \end{matrix} + \begin{matrix} The degree to which \\ \bar{X} varies from μ \end{matrix} = \begin{matrix} The degree to which \\ X_{i} varies from μ . \end{matrix}

$\begin{array}{c} \mbox{The degree to which}\\ X_{i}\mbox{ varies from }\bar{X} \end{array}+\begin{array}{c} \mbox{The degree to which}\\ \bar{X}\mbox{ varies from }\mu \end{array}=\begin{array}{c} \mbox{The degree to which }\\ X_{i}\mbox{ varies from }\mu. \end{array}$

Questo è,

E [{(X_{i} - \bar{X})}^{2}] + E [{(\bar{X} - μ)}^{2}] = E [{(X_{i} - μ)}^{2}] .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]+\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right].$

Provare effettivamente l'equazione di cui sopra richiede un po 'di algebra (questa algebra è molto simile alla risposta di @ Glen_b sopra). Ma supponendo che sia vero, possiamo riorganizzare per ottenere:

E [{(X_{i} - \bar{X})}^{2}] = \underset{σ^{2}}{\underset{⏟}{E [{(X_{i} - μ)}^{2}]}} - \underset{\frac{σ^{2}}{n}}{\underset{⏟}{E [{(\bar{X} - μ)}^{2}]}} = \frac{n - 1}{n} σ^{2} .

$\mathbf{E}\left[\left(X_{i}-\bar{X}\right)^{2}\right]=\underset{\sigma^{2}}{\underbrace{\mathbf{E}\left[\left(X_{i}-\mu\right)^{2}\right]}}-\underset{\frac{\sigma^{2}}{n}}{\underbrace{\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]}}=\frac{n-1}{n}\sigma^2.$

Per me, un altro pezzo di intuizione è che l'uso di invece di introduce pregiudizio. E questo bias è esattamente uguale a . $\bar{X}$ $\mu$ $\mathbf{E}\left[\left(\bar{X}-\mu\right)^{2}\right]=\frac{\sigma^2}{n}$

— Kenny LJ
fonte

12

La maggior parte delle risposte lo hanno già spiegato in modo elaborato ma a parte quelli c'è una semplice illustrazione che si potrebbe trovare utile:

Supponiamo che ti venga dato che e i primi tre numeri sono: $n=4$

$8,4,6$ , _

Ora il quarto numero può essere qualsiasi cosa poiché non ci sono vincoli. Ora considera la situazione quando ti viene dato che e , quindi se i primi tre numeri sono: allora il quarto numero deve essere . $n=4$ $\bar x=6$ $8,4,6$ $6$

Questo per dire che se conosci valori e , l' valore non ha libertà. Quindi ci dà uno stimatore imparziale. $n-1$ $\bar x$ $nth$ $n-1$

— Satwik Bhattamishra
fonte