Perché la deviazione standard è definita come sqrt della varianza e non come sqrt della somma dei quadrati su N?

Oggi ho insegnato a una classe introduttiva di statistica e uno studente mi ha fatto una domanda, che riformulo qui come: "Perché la deviazione standard è definita come sqrt di varianza e non come sqrt di somma dei quadrati su N?"

Definiamo la varianza della popolazione:$\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2}$

E deviazione standard: .$\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}}$

L'interpretazione possiamo dare a è che dà la deviazione media di unità nella popolazione dalla media popolazione di X .$\sigma$$X$

Tuttavia, nella definizione di sd dividiamo il sqrt della somma dei quadrati per . La domanda lo studente pone è per questo che non dividiamo la sqrt del sume delle piazze da , invece. Veniamo così alla formula concorrente:Lo studente ha sostenuto che questa formula assomiglia più a una deviazione "media" dalla media che a quando si divide tra \ sqrt {N} come in \ sigma .$\sqrt{N}$$N$

$$\sigma_{new}=\frac{1}{N}\sqrt{\sum{(x_i-\mu)^2}}.$$ $\sqrt{N}$$\sigma$

Pensavo che questa domanda non fosse stupida. Vorrei dare una risposta allo studente che va oltre il dire che lo sd è definito come sqrt della varianza che è il deviato quadrato medio. In altre parole, perché lo studente dovrebbe usare la formula corretta e non seguire la sua idea?

Questa domanda riguarda un thread precedente e le risposte fornite qui . Le risposte vanno in tre direzioni:

1. $\sigma$ è la deviazione radice-media-quadrata (RMS), non la deviazione "tipica" dalla media (cioè, $\sigma_{new}$ ). Pertanto, è definito in modo diverso.
2. Ha delle belle proprietà matematiche.
3. Inoltre, sqrt riporterebbe le "unità" alla loro scala originale. Tuttavia, questo sarebbe anche il caso di $\sigma_{new}$ , che divide per $N$ , invece.

Entrambi i punti 1 e 2 sono argomenti a favore di sd come RMS, ma non vedo un argomento contro l'uso di $\sigma_{new}$ . Quali sarebbero i buoni argomenti per convincere gli studenti di livello introduttivo dell'uso della distanza RMS media $\sigma$ dalla media?

Esistono almeno tre problemi di base che possono essere facilmente spiegati ai principianti:

1. La "nuova" SD non è nemmeno definita per popolazioni infinite. (Uno potrebbe dichiararlo sempre uguale a zero in tali casi, ma ciò non lo renderebbe più utile.)

2. La nuova SD non si comporta come dovrebbe fare una media in caso di campionamento casuale.

3. Sebbene la nuova SD possa essere utilizzata con tutto il rigore matematico per valutare le deviazioni da una media (in campioni e popolazioni finite), la sua interpretazione è inutilmente complicata.

1. L'applicabilità della nuova SD è limitata

Il punto (1) potrebbe essere riportato a casa, anche a coloro che non sono esperti di integrazione, sottolineando che, poiché la varianza è chiaramente una media aritmetica (di deviazioni quadrate), ha un'utile estensione ai modelli di popolazioni "infinite" per le quali il l'intuizione dell'esistenza di una media aritmetica è ancora valida. Pertanto la sua radice quadrata - la solita SD - è perfettamente ben definita anche in questi casi, e altrettanto utile nel suo ruolo di una (reespressione non lineare di) una varianza. Tuttavia, la nuova SD divide quella media per arbitrariamente grande $\sqrt{N}$ , rendendo problematica la sua generalizzazione oltre le popolazioni finite e i campioni finiti: cosa dovrebbe$1/\sqrt{N}$ essere preso alla pari in tali casi?

2. La nuova SD non è una media

Qualsiasi statistica degna del nome "medio" dovrebbe avere la proprietà che converge al valore della popolazione all'aumentare della dimensione di un campione casuale dalla popolazione. Qualsiasi multiplo fisso della SD avrebbe questa proprietà, poiché il moltiplicatore si applicherebbe sia al calcolo della SD campione sia alla SD di popolazione. (Anche se non contraddice direttamente l'argomento offerto da Alecos Papadopoulos, questa osservazione suggerisce che l'argomento è solo tangenziale ai problemi reali.) Tuttavia, la "nuova" SD, essendo uguale a $1/\sqrt{N}$ volte il solito, converge ovviamente a$0$in tutte le circostanze quando la dimensione del campione$N$aumenta. Pertanto,sebbene per qualsiasi dimensione fissa del campione$N$la nuova SD (opportunamente interpretata) sia una misura di variazione perfettamente adeguata intorno alla media,non può legittimamente essere considerata unamisurauniversaleapplicabile, con la stessa interpretazione, per tutte le dimensioni del campione, né può essere correttamente definito "medio" in ogni senso utile.

3. La nuova SD è complicata da interpretare e utilizzare

Considera di prelevare campioni (diciamo) di dimensioni $N=4$ . La nuova SD in questi casi è volte il normale SD. Gode ​​quindi di interpretazioni comparabili, come un analogo della regola 68-95-99 (circa il 68% dei dati dovrebbe trovarsi all'interno diduenuove SD della media, il 95% all'interno diquattronuove SD della media,ecc.; e le versioni delle disuguaglianze classiche come quelle di Chebychev terranno (non più di1/k2dei dati possono trovarsi a più di2knuove SD lontano dalla loro media); e il Teorema del limite centrale può essere analizzato in modo analogo in termini di nuova SD (uno si divide per$1/\sqrt{N}=1/2$$1/k^2$$2k$ volte la nuova SD per standardizzare la variabile). Pertanto, in questo senso specifico e chiaramente vincolato,non c'è nulla di sbagliato nella proposta dello studente. La difficoltà, tuttavia, è che tutte queste affermazioni contengono - in modo abbastanza esplicito - fattori di$\sqrt{N}$. Sebbene non vi siano problemi matematici inerenti, ciò complica certamente le dichiarazioni e l'interpretazione delle leggi fondamentali della statistica.$\sqrt{N}=2$

---

È da notare che Gauss e altri hanno originariamente parametrizzato la distribuzione gaussiana di , usando efficacemente$\sqrt{2}\sigma$ volte la DS per quantificare la diffusione di una variabile casuale normale. Questo uso storico dimostra la proprietà e l'efficacia dell'uso di altrimultiplifissidella SD al suo posto.$\sqrt{2}$

Supponiamo che il tuo campione contenga solo due realizzazioni. Immagino che una misura intuitiva di dispersione sarebbe la deviazione assoluta media (AAD)

$$AAD = \frac 12 (|x_1-\bar x| + |x_2-\bar x|) = ...= \frac {|x_1-x_2|}{2}$$

Quindi vorremmo che altre misure di dispersione allo stesso livello di unità di misura fossero "vicine" a quanto sopra.

La varianza del campione è definita come

$$\sigma^2=\frac{1}{2}[(x_1-\bar x)^2 + (x_2-\bar x)^2] = \frac 12 \left[\left(\frac {x_1-x_2}{2}\right)^2 + \left(\frac {x_2-x_1}{2}\right)^2\right]$$

$$=\frac 12 \left[\frac {(x_1-x_2)^2}{4} + \frac {(x_1-x_2)^2}{4}\right]=\frac 12 \frac {(x_1-x_2)^2}{2}$$

$$=\frac 12\cdot \frac {|x_1-x_2|^2}{2}$$

Per tornare alle unità di misura originali, se facessimo come lo studente si chiedeva / suggeriva, avremmo ottenuto la misura, chiamandola $q$

$$q \equiv \frac 12\cdot \sqrt {\frac {|x_1-x_2|^2}{2}} = \frac 12 \frac {|x_1-x_2|}{\sqrt 2} = \frac 1{\sqrt 2} AAD < AAD$$

i.e. we would have "downplayed" the "intuitive" measure of dispersion, while if we have considered the standard deviation as defined,

$$SD \equiv \sqrt {\sigma^2} = \frac {|x_1-x_2|}{2} =AAD$$

Since we want to "stay as close as possible" to the intuitive measure, we should use $SD$.

ADDENDUM
Let's consider now a sample of size $n$ We have

$$n\cdot AAD = \sum_{i=1}^n |x_i-\bar x|$$

and

$$n \cdot \text{Var}(X) = \sum_{i=1}^n (x_i-\bar x)^2 = \sum_{i=1}^n |x_i-\bar x|^2$$

we can write the right-hand side of the variance expression as

$$\sum_{i=1}^n |x_i-\bar x|^2 = \left(\sum_{i=1}^n |x_i-\bar x|\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

$$= \left (n\cdot AAD\right)^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$$

Then the dispersion measure $q_n$ will be

$$q_n \equiv \frac 1n \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[AAD^2 - \frac 1{n^2} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Now think informally: note that $\sum_{j\neq i} |x_i-\bar x||x_j-\bar x|$ contains $n^2-n$ terms, and so divided by $n^2$ will left us with "one term in the second power". But also "one term in the 2nd power" is what we have in $AAD^2$: this is a primitive way to "sense" why $q_n$ will tend to zero as $n$ grows large. On the other hand the Standard Deviation as defined would be

$$SD \equiv \frac 1{\sqrt n} \left[n^2\cdot AAD^2 - \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

$$= \left[n\cdot AAD^2 - \frac 1{n} \sum_{j\neq i} |x_i-\bar x||x_j-\bar x|\right]^{1/2}$$

Continuing are informal thinking, the first term gives us $n$ "terms in the 2nd power", while the second term gives us $n-1$ "terms in the second power" . So we will be left eventually with one such term, as $n$ grows large, and then we will take its square root.
This does not mean that the Standard Deviation as defined will equal the Average Absolute Deviation in general (it doesn't), but it does show that it is suitably defined so as to be "on a par" with it for any $n$, as well as for the case when $n\rightarrow \infty$.