Spiegazione intuitiva per la divisione per

Mi è stato chiesto oggi in classe perché dividere la somma dell'errore quadrato per anziché con , quando si calcola la deviazione standard.$n-1$$n$

Ho detto che non risponderò in classe (dal momento che non volevo entrare in stimatori imparziali), ma più tardi mi sono chiesto - c'è una spiegazione intuitiva per questo ?!

La deviazione standard calcolata con un divisore di è una deviazione standard calcolata dal campione come stima della deviazione standard della popolazione da cui è stato prelevato il campione. Poiché i valori osservati diminuiscono, in media, più vicini alla media del campione che alla media della popolazione, la deviazione standard che viene calcolata usando le deviazioni dalla media del campione sottostima la deviazione standard desiderata della popolazione. Usando invece di come il divisore corregge per questo rendendo il risultato un po 'più grande.n - 1 $n-1$$n-1$$n$

Si noti che la correzione ha un effetto proporzionale maggiore quando è piccolo rispetto a quando è grande, che è quello che vogliamo perché quando n è più grande la media del campione è probabilmente un buon stimatore della media della popolazione.$n$

Quando il campione è l'intera popolazione, usiamo la deviazione standard con come divisore perché la media del campione è media della popolazione.$n$

(Noto tra parentesi che nulla che inizia con "il secondo momento, moderato attorno a un mezzo noto e definito", soddisferà la richiesta dell'interrogatore per una spiegazione intuitiva.)

Uno comune è che la definizione di varianza (di una distribuzione) è il secondo momento recentemente aggiornato attorno a una media nota e definita , mentre lo stimatore usa una media stimata . Questa perdita di un grado di libertà (data la media, è possibile ricostituire il set di dati con la conoscenza di solo dei valori dei dati) richiede l'uso di anziché di per "regolare" il risultato.n - 1 $n-1$$n-1$$n$

Tale spiegazione è coerente con le varianze stimate nell'analisi ANOVA e dei componenti di varianza. È davvero solo un caso speciale.

La necessità di apportare qualche aggiustamento che gonfia la varianza può, credo, essere chiarita intuitivamente con un argomento valido che non è solo un gesto ex post fatto a mano. (Ricordo che lo studente potrebbe aver sollevato una simile argomentazione nel suo articolo del 1908 sul test t.) Perché la correzione della varianza dovrebbe essere esattamente un fattore di è più difficile da giustificare, specialmente se si considera che la DS rettificata non è uno stimatore imparziale. (È semplicemente la radice quadrata di uno stimatore imparziale della varianza. Essere imparziale di solito non sopravvive a una trasformazione non lineare.) Quindi, in effetti, la corretta regolazione della DS per rimuovere la sua distorsione non è un fattore di$n/(n-1)$$\sqrt{n/(n-1)}$ affatto!

Alcuni libri di testo introduttivi non si preoccupano nemmeno di introdurre lo sd modificato: insegnano una formula (dividi per ). Per prima cosa ho reagito negativamente a questo quando ho insegnato da un libro del genere, ma ho imparato ad apprezzare la saggezza: concentrandosi su concetti e applicazioni, gli autori eliminano tutte le inessenziali abilità matematiche. Si scopre che nulla è ferito e nessuno viene ingannato.$n$

Per definizione, la varianza viene calcolata prendendo la somma delle differenze al quadrato dalla media e dividendola per la dimensione. Abbiamo la formula generale

doveμè la media eNè la dimensione della popolazione.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Secondo questa definizione, anche la varianza di un campione (ad es. Campione ) deve essere calcolata in questo modo.$t$

dove ¯ X è la media enè la dimensione di questo piccolo campione.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Tuttavia, per varianza del campione , intendiamo uno stimatore della varianza della popolazione σ 2 . Come possiamo stimare σ 2 solo usando i valori del campione?$S^2$$\sigma^2$$\sigma^2$

Secondo le formule precedenti, la variabile casuale discosta dalla media del campione ¯ X con varianza σ 2 t . Anche la media del campione ¯ X si discosta da μ con varianza σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ perché la media campionaria ottiene valori diversi da campione a campione ed è una variabile casuale con mediaμe varianzaσ$\frac{\sigma^2}{n}$$\mu$ . (Uno può dimostrare facilmente.)$\frac{\sigma^2}{n}$

Pertanto, all'incirca, dovrebbe deviare da μ con una varianza che coinvolge due varianze, quindi sommare queste due e ottenere σ 2 = σ 2 t + σ $X$$\mu$ . Risolvendo questo, otteniamoσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . La sostituzione diσ 2 t fornisce al nostro stimatore la varianza della popolazione:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

Si può anche dimostrare che è vero.$E[S^2]=\sigma^2$

Questa è un'intuizione totale, ma la risposta più semplice è quella di una correzione fatta per rendere indefinita la deviazione standard del campione di un elemento anziché 0.

È possibile ottenere una comprensione più profonda del termine attraverso la sola geometria, non solo perché non è n ma perché assume esattamente questa forma, ma potrebbe essere necessario prima costruire l'intuizione per far fronte alla geometria n- dimensionale. Da lì, tuttavia, è un piccolo passo verso una comprensione più profonda dei gradi di libertà nei modelli lineari (cioè modello df e residuo df). Penso che non ci siano dubbi sul fatto che Fisher la pensasse così. Ecco un libro che lo costruisce gradualmente:$n-1$$n$$n$

Saville DJ, Wood GR. Metodi statistici: l'approccio geometrico . 3a edizione. New York: Springer-Verlag; 1991. 560 pagine. 9780387975177

(Sì, 560 pagine. L'ho detto gradualmente.)

Lo stimatore della varianza della popolazione è distorto quando applicato su un campione della popolazione. Per adattarsi a tale distorsione, è necessario dividere per n-1 anziché per n. Si può dimostrare matematicamente che lo stimatore della varianza del campione è imparziale quando dividiamo per n-1 anziché per n. Una prova formale è fornita qui:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Inizialmente era la correttezza matematica che ha portato alla formula, suppongo. Tuttavia, se si desidera aggiungere intuizione a una formula, i suggerimenti già menzionati sembrano ragionevoli.

Innanzitutto, le osservazioni di un campione sono in media più vicine alla media del campione che alla media della popolazione. Lo stimatore di varianza utilizza la media del campione e di conseguenza sottovaluta la varianza reale della popolazione. Dividendo per n-1 invece di n corregge questo pregiudizio.

Inoltre, la divisione per n-1 rende la varianza di un campione a un elemento indefinita anziché zero.

Perché dividere per anziché per n ? Perché è consuetudine e risulta in una stima imparziale della varianza. Tuttavia, risulta in una stima parziale (bassa) della deviazione standard, come si può vedere applicando la disuguaglianza di Jensen alla funzione concava, radice quadrata.$n-1$$n$

$n$$n-1$

$\alpha z^2 + 2\beta z + \gamma$$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ $\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

$x_i$$n$$\mu$$\sigma^2$$\mu$$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Passare dalla definizione variabile casuale della varianza alla definizione della varianza del campione è una questione di stima di un'aspettativa con una media che può essere giustificata dal principio filosofico della tipicità: il campione è una rappresentazione tipica della distribuzione. (Nota, questo è correlato, ma non è uguale alla stima per momenti.)

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

Su suggerimento di whuber , questa risposta è stata copiata da un'altra domanda simile .

La correzione di Bessel viene adottata per correggere la distorsione nell'uso della varianza del campione come stimatore della varianza vera. La distorsione nella statistica non corretta si verifica perché la media del campione è più vicina al centro delle osservazioni rispetto alla media reale, e quindi le deviazioni al quadrato attorno alla media del campione sottostimano sistematicamente le deviazioni al quadrato attorno alla media vera.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Presa dei rendimenti attesi:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Generalmente l'uso di "n" nel denominatore fornisce valori più piccoli rispetto alla varianza della popolazione, che è ciò che vogliamo stimare. Ciò accade soprattutto se vengono prelevati piccoli campioni. Nel linguaggio delle statistiche, diciamo che la varianza del campione fornisce una stima "distorta" della varianza della popolazione e deve essere resa "imparziale".

Se stai cercando una spiegazione intuitiva, dovresti far capire ai tuoi studenti il ​​motivo per se stessi prendendo campioni! Guarda questo, risponde esattamente alla tua domanda.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Per rispondere a questa domanda, dobbiamo tornare alla definizione di uno stimatore imparziale. Uno stimatore imparziale è quello la cui aspettativa tende alla vera aspettativa. La media del campione è uno stimatore imparziale. Per capire perché:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Diamo un'occhiata alle aspettative della varianza del campione,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

La distribuzione T di Student generalizzata ha tre parametri e utilizza tutte e tre le tue statistiche. Se decidi di fornire alcune informazioni, puoi approssimare ulteriormente i tuoi dati usando una distribuzione normale a due parametri come descritto nella tua domanda.

Da un punto di vista bayesiano, puoi immaginare che l'incertezza negli iperparametri del modello (distribuzioni sulla media e sulla varianza) fa sì che la varianza del predittore posteriore sia maggiore della varianza della popolazione.

Mio Dio, sta diventando complicato! Ho pensato che la risposta semplice fosse ... se hai tutti i punti dati che puoi usare "n" ma se hai un "campione" allora, supponendo che sia un campione casuale, hai più punti campione all'interno della deviazione standard che dall'esterno (la definizione di deviazione standard). Non hai abbastanza dati all'esterno per assicurarti di ottenere tutti i punti dati di cui hai bisogno in modo casuale. L'n-1 aiuta ad espandersi verso la deviazione standard "reale".