Perché quadrare la differenza invece di prendere il valore assoluto nella deviazione standard?

Nella definizione di deviazione standard, perché dobbiamo quadrare la differenza dalla media per ottenere la media (E) e riportare la radice quadrata alla fine? Non possiamo semplicemente prendere semplicemente il valore assoluto della differenza e ottenere il valore atteso (medio) di quelli, e ciò non mostrerebbe anche la variazione dei dati? Il numero sarà diverso dal metodo quadrato (il metodo del valore assoluto sarà più piccolo), ma dovrebbe comunque mostrare la diffusione dei dati. Qualcuno sa perché prendiamo questo approccio quadrato come standard?

La definizione di deviazione standard:

$\sigma = \sqrt{E\left[\left(X - \mu\right)^2\right]}.$

Non possiamo semplicemente prendere il valore assoluto invece ed essere ancora una buona misura?

$\sigma = E\left[|X - \mu|\right]$

Se l'obiettivo della deviazione standard è di riassumere la diffusione di un set di dati simmetrico (cioè in generale quanto dista ogni dato dalla media), allora abbiamo bisogno di un buon metodo per definire come misurare quella diffusione.

I vantaggi della quadratura includono:

• La quadratura dà sempre un valore positivo, quindi la somma non sarà zero.
• La quadratura enfatizza le differenze più grandi, una caratteristica che risulta essere sia positiva che negativa (si pensi all'effetto che hanno i valori anomali).

La quadratura tuttavia ha un problema come misura dello spread e cioè che le unità sono tutte quadrate, mentre potremmo preferire che lo spread sia nelle stesse unità dei dati originali (pensate a sterline quadrate, dollari quadrati o mele quadrate) . Quindi la radice quadrata ci consente di tornare alle unità originali.

Suppongo che potresti dire che la differenza assoluta assegna lo stesso peso alla diffusione dei dati mentre la quadratura enfatizza gli estremi. Tecnicamente sebbene, come altri hanno sottolineato, la quadratura rende molto più facile lavorare con l'algebra e offre proprietà che il metodo assoluto non ha (ad esempio, la varianza è uguale al valore atteso del quadrato della distribuzione meno il quadrato del media della distribuzione)

È importante notare, tuttavia, che non vi è alcun motivo per cui non si possa fare la differenza assoluta se questa è la propria preferenza su come si desidera visualizzare "diffusione" (una specie di come alcune persone vedono il 5% come una soglia magica per ivalori, quando in realtà dipende dalla situazione). In effetti, ci sono in effetti diversi metodi concorrenti per misurare la diffusione.$p$

Il mio punto di vista è quello di usare i valori al quadrato perché mi piace pensare a come si rapporta al teorema della statistica di Pitagora: ... questo mi aiuta anche a ricordare che quando si lavora con variabili casuali indipendenti , le varianze aggiungono, le deviazioni standard no. Ma questa è solo la mia preferenza soggettiva personale che uso principalmente solo come ausilio alla memoria, non posso ignorare questo paragrafo.$c = \sqrt{a^2 + b^2}$

Un'analisi molto più approfondita può essere letta qui .

La differenza al quadrato ha proprietà matematiche più belle; è continuamente differenziabile (bello quando vuoi minimizzarlo), è una statistica sufficiente per la distribuzione gaussiana, ed è (una versione di) la norma L2 che è utile per dimostrare la convergenza e così via.

La deviazione assoluta media (la notazione del valore assoluto che suggerisci) viene anche utilizzata come misura di dispersione, ma non è "ben educata" come l'errore al quadrato.

Un modo in cui puoi pensare a questo è che la deviazione standard è simile a una "distanza dalla media".

Confronta questo con le distanze nello spazio euclideo - questo ti dà la vera distanza, dove ciò che hai suggerito (che, tra l'altro, è la deviazione assoluta ) è più simile a un calcolo della distanza di Manhattan .

Il motivo per cui calcoliamo la deviazione standard invece dell'errore assoluto è che si presume che l'errore sia distribuito normalmente . Fa parte del modello.

Supponiamo che tu stia misurando lunghezze molto piccole con un righello, quindi la deviazione standard è una metrica errata per errore perché sai che non misurerai mai accidentalmente una lunghezza negativa. Una metrica migliore sarebbe quella per aiutare ad adattare una distribuzione Gamma alle tue misurazioni:

$\log(E(x)) - E(\log(x))$

Come la deviazione standard, anche questa non è negativa e differenziabile, ma è una statistica di errore migliore per questo problema.

La risposta che mi ha soddisfatto di più è che cade naturalmente dalla generalizzazione di un campione allo spazio euclideo n-dimensionale. È certamente discutibile se si debba fare qualcosa, ma in ogni caso:

Supponi che le tue misurazioni siano ciascuna un asse in . Quindi i tuoi dati definiscono un punto in quello spazio. Ora potresti notare che i dati sono tutti molto simili tra loro, quindi puoi rappresentarli con un singolo parametro di posizione che è costretto a giacere sulla linea definita da . Proiettando il tuo punto dati su questa linea ottieni , e la distanza dal punto proiettato al punto dati effettivo è.$n$$X_i$$\mathbb R^n$$x_i$$\bf x$$\mu$$X_i=\mu$$\hat\mu=\bar x$$\hat\mu\bf 1$$\sqrt{\frac{n-1} n}\hat\sigma=\|\bf x-\hat\mu\bf 1\|$

Questo approccio fornisce anche un'interpretazione geometrica per la correlazione, .$\hat\rho=\cos \angle(\vec{\bf\tilde x},\vec{\bf\tilde y})$

La quadratura della differenza dalla media ha un paio di ragioni.

• La varianza è definita come il secondo momento della deviazione (il RV qui è ) e quindi il quadrato come momenti sono semplicemente le aspettative di potenze superiori della variabile casuale.$(x-\mu)$

• Avere un quadrato al contrario della funzione del valore assoluto dà una bella funzione continua e differenziabile (il valore assoluto non è differenziabile a 0), il che la rende la scelta naturale, specialmente nel contesto dell'analisi di stima e regressione.

• Anche la formulazione quadrata cade naturalmente dai parametri della distribuzione normale.

Ancora un altro motivo (oltre a quelli eccellenti sopra) viene dallo stesso Fisher, che ha dimostrato che la deviazione standard è più "efficiente" della deviazione assoluta. Qui, efficiente ha a che fare con quanto una statistica fluttuerà in valore su diversi campionamenti da una popolazione. Se la tua popolazione è normalmente distribuita, la deviazione standard di vari campioni da quella popolazione tenderà, in media, a darti valori abbastanza simili tra loro, mentre la deviazione assoluta ti darà numeri che si estendono un po 'di più. Ora, ovviamente, questo è in circostanze ideali, ma questo motivo ha convinto molte persone (insieme alla matematica ad essere più pulita), quindi la maggior parte delle persone ha lavorato con deviazioni standard.

Solo così la gente lo sa, c'è una domanda di Math Overflow sullo stesso argomento.

Perché-è-da-so-cool-a-quadri-numeri-in-termini-di-ricerca-the-deviazione standard

Il messaggio da asporto è che l'uso della radice quadrata della varianza porta a una matematica più semplice. Una risposta simile è data da Rich e Reed sopra.

$\newcommand{\var}{\operatorname{var}}$ varianze sono additive: per variabili casuali indipendenti , $X_1,\ldots,X_n$

$$\var(X_1+\cdots+X_n)=\var(X_1)+\cdots+\var(X_n).$$

Nota cosa rende possibile: supponi di lanciare una moneta giusta 900 volte. Qual è la probabilità che il numero di teste che ottengo sia compreso tra 440 e 455 inclusi? Basta trovare il numero previsto di teste ( ) e la varianza del numero di teste ( ), quindi trovare la probabilità con una distribuzione normale (o gaussiana) con aspettativa e la deviazione standard è compresa tra e . Abraham de Moivre ha fatto questo con lanci di monete nel 18 ° secolo, dimostrando quindi che la curva a forma di campana vale qualcosa.$450$$225=15^2$$450$$15$$439.5$$455.5$

Penso che il contrasto tra l'utilizzo di deviazioni assolute e deviazioni quadrate diventi più chiaro quando si supera una singola variabile e si pensa alla regressione lineare. C'è una bella discussione su http://en.wikipedia.org/wiki/Least_absolute_deviations , in particolare la sezione "Contrasti dei minimi quadrati con meno deviazioni assolute", che collega ad alcuni esercizi degli studenti con una serie ordinata di applet su http: // www .math.wpi.edu / Course_Materials / SAS / lablets / 7.3 / 73_choices.html .

Riassumendo, le deviazioni meno assolute sono più robuste rispetto ai valori anomali rispetto ai minimi quadrati ordinari, ma possono essere instabili (una piccola modifica anche in un singolo dato può dare una grande modifica alla linea adattata) e non ha sempre una soluzione unica - può esserci un'intera gamma di linee adattate. Anche le deviazioni meno assolute richiedono metodi iterativi, mentre i minimi quadrati ordinari hanno una semplice soluzione a forma chiusa, anche se non è un grosso problema ora come lo era ai tempi di Gauss e Legendre, ovviamente.

Ci sono molte ragioni; probabilmente il principale è che funziona bene come parametro di distribuzione normale.

In molti modi, l'uso della deviazione standard per riassumere la dispersione sta saltando verso una conclusione. Si potrebbe dire che SD assume implicitamente una distribuzione simmetrica a causa del suo uguale trattamento della distanza al di sotto della media rispetto alla distanza al di sopra della media. La DS è sorprendentemente difficile da interpretare per i non statistici. Si potrebbe sostenere che la differenza media di Gini ha un'applicazione più ampia ed è significativamente più interpretabile. Non richiede di dichiarare la propria scelta di una misura di tendenza centrale come l'uso di SD fa per la media. La differenza media di Gini è la differenza assoluta media tra due diverse osservazioni. Oltre ad essere robusto e facile da interpretare, risulta essere 0,98 efficiente quanto SD se la distribuzione fosse effettivamente gaussiana.

La stima della deviazione standard di una distribuzione richiede di scegliere una distanza.
È possibile utilizzare una delle seguenti distanze:

$$d_n((X)_{i=1,\ldots,I},\mu)=\left(\sum | X-\mu|^n\right)^{1/n}$$

Usiamo solitamente la distanza euclidea naturale ( ), che è quella che tutti usano nella vita quotidiana. La distanza che proponi è quella con . Entrambi sono buoni candidati ma sono diversi.$n=2$$n=1$

Si potrebbe decidere di usare anche .$n=3$

Non sono sicuro che ti piacerà la mia risposta, il mio punto contrario agli altri non è dimostrare che è meglio. Penso che se si desidera stimare la deviazione standard di una distribuzione, è possibile utilizzare assolutamente una distanza diversa.$n=2$

Dipende da cosa stai parlando quando dici "diffusione dei dati". Per me questo potrebbe significare due cose:

1. La larghezza di una distribuzione di campionamento
2. La precisione di una determinata stima

Per il punto 1) non vi è alcun motivo particolare per utilizzare la deviazione standard come misura di diffusione, tranne quando si dispone di una distribuzione di campionamento normale. La misura è una misura più appropriata nel caso di una distribuzione di campionamento di Laplace . La mia ipotesi è che la deviazione standard venga utilizzata qui a causa dell'intuizione riportata dal punto 2). Probabilmente anche a causa del successo della modellazione dei minimi quadrati in generale, per la quale la deviazione standard è la misura appropriata. Probabilmente anche perché il calcolo di è generalmente più semplice del calcolo di per la maggior parte delle distribuzioni.$E(|X-\mu|)$$E(X^2)$$E(|X|)$

Ora, per il punto 2) c'è un ottimo motivo per usare la varianza / deviazione standard come misura della diffusione, in un caso particolare, ma molto comune. Puoi vederlo nell'approssimazione di Laplace a un posteriore. Con i dati e le informazioni precedenti , scrivi il posteriore per un parametro come:$D$$I$$\theta$

$$p(\theta\mid DI)=\frac{\exp\left(h(\theta)\right)}{\int \exp\left(h(t)\right)\,dt}\;\;\;\;\;\;h(\theta)\equiv\log[p(\theta\mid I)p(D\mid\theta I)]$$

Ho usato come variabile fittizia per indicare che il denominatore non dipende da . Se il posteriore ha un singolo massimo ben arrotondato (cioè non troppo vicino a un "confine"), possiamo espandere la probabilità di log circa il suo massimo . Se prendiamo i primi due termini dell'espansione di Taylor otteniamo (usando prime per la differenziazione):$t$$\theta$$\theta_\max$

$$h(\theta)\approx h(\theta_\max)+(\theta_\max-\theta)h'(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Ma abbiamo qui che, poiché è un "ben arrotondato", , quindi abbiamo:$\theta_\max$$h'(\theta_\max)=0$

$$h(\theta)\approx h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)$$

Se inseriamo questa approssimazione otteniamo:

$$p(\theta\mid DI)\approx\frac{\exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(h(\theta_\max)+\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

$$=\frac{\exp\left(\frac{1}{2}(\theta_\max-\theta)^{2}h''(\theta_\max)\right)}{\int \exp\left(\frac{1}{2}(\theta_\max-t)^{2}h''(\theta_\max)\right)\,dt}$$

Quale, ma per notazione è una distribuzione normale, con media uguale a e varianza uguale a$E(\theta\mid DI)\approx\theta_\max$

$$V(\theta\mid DI)\approx \left[-h''(\theta_\max)\right]^{-1}$$

( è sempre positivo perché abbiamo un massimo ben arrotondato). Quindi questo significa che nei "problemi regolari" (che è la maggior parte di essi), la varianza è la quantità fondamentale che determina l'accuratezza delle stime per . Quindi, per le stime basate su una grande quantità di dati, la deviazione standard ha molto senso in teoria - ti dice praticamente tutto ciò che devi sapere. Sostanzialmente si applica lo stesso argomento (con le stesse condizioni richieste) nel caso multidimensionale con essendo una matrice hessiana. Anche qui le voci diagonali sono essenzialmente variazioni.$-h''(\theta_\max)$$\theta$$h''(\theta)_{jk}=\frac{\partial h(\theta)}{\partial \theta_j \, \partial \theta_k}$

Il frequentatore che utilizza il metodo della massima verosimiglianza giungerà essenzialmente alla stessa conclusione perché l'MLE tende ad essere una combinazione ponderata dei dati e per grandi campioni si applica il Teorema del limite centrale e in pratica si ottiene lo stesso risultato se si prende ma con e scambiati: (vedi se riesci a indovinare quale paradigma preferisco: P). Quindi, in entrambi i casi, nella stima dei parametri la deviazione standard è un'importante misura teorica della diffusione.$p(\theta\mid I)=1$$\theta$$\theta_\max$

$$p(\theta_\max\mid\theta)\approx N\left(\theta,\left[-h''(\theta_\max)\right]^{-1}\right)$$

"Perché quadrare la differenza" invece di "assumere valore assoluto"? Per rispondere in modo molto preciso, esiste una letteratura che fornisce i motivi per cui è stata adottata e il motivo per cui la maggior parte di tali motivi non è valida. "Non possiamo semplicemente prendere il valore assoluto ...?". Sono a conoscenza della letteratura in cui la risposta è affermativa, e si dice che sia vantaggiosa.

L'autore Gorard afferma, in primo luogo, che l'uso dei quadrati era stato precedentemente adottato per motivi di semplicità di calcolo, ma che tali motivi originali non valgono più. Gorard afferma, in secondo luogo, che l'OLS è stato adottato perché Fisher ha scoperto che i risultati in campioni di analisi che utilizzavano OLS presentavano deviazioni minori rispetto a quelle che utilizzavano differenze assolute (approssimativamente dichiarate). Pertanto, sembrerebbe che OLS possa avere benefici in alcune circostanze ideali; tuttavia, Gorard procede a notare che esiste un certo consenso (e afferma Fisher concordato) che in condizioni del mondo reale (misurazione imperfetta di osservazioni, distribuzioni non uniformi, studi su una popolazione senza inferenza da un campione), l'uso dei quadrati è peggiore di differenze assolute.

La risposta di Gorard alla tua domanda "Non possiamo semplicemente prendere il valore assoluto della differenza e ottenere il valore atteso (medio) di quelli?" è sì. Un altro vantaggio è che l'uso delle differenze produce misure (misure di errori e variazioni) che sono correlate al modo in cui sperimentiamo tali idee nella vita. Gorard afferma che le persone che dividono il conto del ristorante in modo uniforme e alcuni potrebbero notare intuitivamente che questo metodo è ingiusto. Nessuno lì quadrerà gli errori; le differenze sono il punto.

Infine, usando le differenze assolute, osserva, tratta ogni osservazione in modo equo, mentre per contrasto la quadratura delle differenze dà alle osservazioni un peso scarsamente superiore a quello previsto, il che è come consentire che alcune osservazioni vengano incluse nello studio più volte. In sintesi, la sua spinta generale è che oggi non ci sono molte ragioni vincenti per usare i quadrati e che, al contrario, usare le differenze assolute ha dei vantaggi.

Riferimenti:

• Gorard, S. (2005). Rivisitare un dibattito di 90 anni: i vantaggi della deviazione media , British Journal of Educational Studies, 53 , 4, pp. 417-430.
• Gorard, S. (2013). I possibili vantaggi della dimensione media dell'effetto "deviazione assoluta" , Aggiornamento della ricerca sociale , 65: 1.

Perché i quadrati possono consentire l'uso di molte altre operazioni o funzioni matematiche più facilmente dei valori assoluti.

Esempio: i quadrati possono essere integrati, differenziati, possono essere utilizzati in modo trigonometrico, logaritmico e altre funzioni, con facilità.

Quando si aggiungono variabili casuali, si aggiungono le loro varianze, per tutte le distribuzioni. La varianza (e quindi la deviazione standard) è una misura utile per quasi tutte le distribuzioni e non si limita in alcun modo alle distribuzioni gaussiane (alias "normali"). Ciò favorisce l'utilizzo come misura di errore. La mancanza di unicità è un problema serio con differenze assolute, in quanto vi è spesso un numero infinito di "accoppiamenti di uguale misura", eppure chiaramente "quello nel mezzo" è il più realisticamente favorito. Inoltre, anche con i computer di oggi, l'efficienza computazionale conta. Lavoro con set di dati di grandi dimensioni e il tempo della CPU è importante. Tuttavia, non esiste una singola "migliore" misura assoluta di residui, come sottolineato da alcune risposte precedenti. A volte circostanze diverse richiedono misure diverse.

Naturalmente puoi descrivere la dispersione di una distribuzione in qualsiasi modo significativo (deviazione assoluta, quantili, ecc.).

Un fatto interessante è che la varianza è il secondo momento centrale e ogni distribuzione è descritta in modo univoco dai suoi momenti se esistono. Un altro fatto interessante è che la varianza è matematicamente molto più tracciabile rispetto a qualsiasi metrica comparabile. Un altro fatto è che la varianza è uno dei due parametri della distribuzione normale per la solita parametrizzazione, e la distribuzione normale ha solo 2 momenti centrali diversi da zero che sono quei due parametri. Anche per distribuzioni non normali può essere utile pensare in un quadro normale.

A mio avviso, la ragione per cui esiste la deviazione standard in quanto tale è che nelle applicazioni appare regolarmente la radice quadrata della varianza (tale da standardizzare una variante casuale), che necessitava di un nome per essa.

Un approccio diverso e forse più intuitivo è quando si pensa alla regressione lineare rispetto alla regressione mediana.

Supponiamo che il nostro modello sia che . Quindi troviamo b minimizzando il residuo quadrato atteso, .$\mathbb{E}(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} (y - x b)^2$

Se invece il nostro modello è quello mediano , allora troviamo le stime dei nostri parametri minimizzando i residui assoluti ,.$(y|x) = x\beta$$\beta = \arg \min_b \mathbb{E} |y - x b|$

In altre parole, se utilizzare l'errore assoluto o al quadrato dipende dal fatto che si desideri modellare il valore atteso o il valore mediano.

Se la distribuzione, ad esempio, mostra un'eteroscedasticità distorta, allora c'è una grande differenza nel modo in cui la pendenza del valore atteso di cambia rispetto a a come la pendenza è per il valore mediano di .$y$$x$$y$

Koenker e Hallock hanno un bel pezzo sulla regressione quantile, in cui la regressione mediana è un caso speciale: http://master272.com/finance/QR/QRJEP.pdf .

La mia ipotesi è questa: la maggior parte delle popolazioni (distribuzioni) tendono a riunirsi attorno alla media. Più un valore è lontano dalla media, più raro è. Al fine di esprimere adeguatamente quanto "fuori linea" sia un valore, è necessario tener conto sia della sua distanza dalla media che della sua rarità (di solito parlando). La quadratura della differenza dalla media fa questo, rispetto ai valori che hanno deviazioni minori. Una volta calcolata la media di tutte le varianze, allora è OK prendere la radice quadrata, che riporta le unità alle loro dimensioni originali.

La quadratura amplifica le deviazioni più grandi.

Se il tuo campione ha valori che sono in tutto il grafico, allora per portare il 68,2% all'interno della prima deviazione standard, la tua deviazione standard deve essere un po 'più ampia. Se i tuoi dati tendevano a cadere attorno alla media, σ può essere più stretto.

Alcuni dicono che è per semplificare i calcoli. L'uso della radice quadrata positiva del quadrato avrebbe risolto ciò in modo tale argomento non galleggiare.

$|x| = \sqrt{x^{2}}$

Quindi se l'obiettivo della semplicità algebrica sarebbe stato così:

$\sigma = \text{E}\left[\sqrt{(x-\mu)^{2}}\right]$ che produce gli stessi risultati di .$\text{E}\left[|x-\mu|\right]$

Ovviamente la quadratura di questo ha anche l'effetto di amplificare gli errori esterni (doh!).

Perché quadrare la differenza invece di prendere il valore assoluto nella deviazione standard?

Quadriamo la differenza delle x dalla media perché la distanza euclidea, proporzionale alla radice quadrata dei gradi di libertà (numero di x, in una misura della popolazione), è la migliore misura di dispersione.

Calcolo della distanza

Qual è la distanza dal punto 0 al punto 5?

• $5-0 = 5$ ,
• $|0-5| = 5$ e
• $\sqrt{5^2} = 5$

Ok, è banale perché è una singola dimensione.

Che ne dici della distanza di un punto dal punto 0, 0 al punto 3, 4?

Se possiamo andare solo in 1 dimensione alla volta (come negli isolati), aggiungiamo semplicemente i numeri. (Questa è a volte conosciuta come la distanza di Manhattan).

Ma che dire di andare in due dimensioni contemporaneamente? Quindi (dal teorema di Pitagora che abbiamo imparato tutti al liceo), quadriamo la distanza in ogni dimensione, sommiamo i quadrati e quindi prendiamo la radice quadrata per trovare la distanza dall'origine al punto.

$$\sqrt{3^2 + 4^2} = \sqrt{25} = 5$$

Che ne dici della distanza da un punto a 0, 0, 0 al punto 1, 2, 2?

Questo è solo

$$\sqrt{1^2+2^2 + 2^2} = \sqrt9 = 3$$

perché la distanza per le prime due x costituisce la gamba per calcolare la distanza totale con la x finale.

$$\sqrt{\sqrt{x_1^2 + x_2^2}^2 + x_3^2} = \sqrt{x_1^2 + x_2^2 + x_3^2}$$

Possiamo continuare ad estendere la regola della quadratura della distanza di ogni dimensione, questo generalizza a quella che chiamiamo una distanza euclidea, per misurazioni ortogonali nello spazio iperdimensionale, in questo modo:

$$distance = \sqrt{ \sum_{i=1}^n{x_i^2} }$$

e quindi la somma dei quadrati ortogonali è la distanza al quadrato:

$$distance^2 = \sum_{i=1}^n{x_i^2}$$

Cosa rende una misura ortogonale (o ad angolo retto) ad un'altra? La condizione è che non vi sia alcuna relazione tra le due misurazioni. Vorremmo cercare che queste misurazioni fossero indipendenti e distribuite individualmente , ( iid ).

Varianza

Ora ricorda la formula per la varianza della popolazione (dalla quale otterremo la deviazione standard):

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}$$

Se abbiamo già centrato i dati su 0 sottraendo la media, abbiamo:

$$\sigma^2 = \frac{\displaystyle\sum_{i=1}^{n}(x_i)^2} {n}$$

Quindi vediamo che la varianza è solo la distanza al quadrato divisa per il numero di gradi di libertà (il numero di dimensioni su cui le variabili sono libere di variare). Questo è anche il contributo medio alla per misura. "Varianza quadrata media" sarebbe anche un termine appropriato.$distance^2$

Deviazione standard

Quindi abbiamo la deviazione standard, che è solo la radice quadrata della varianza:

$$\sigma = \sqrt{\frac{\displaystyle\sum_{i=1}^{n}(x_i - \mu)^2} {n}}$$

Che è equivalentemente, la distanza , divisa per la radice quadrata dei gradi di libertà:

$$\sigma = \frac{\sqrt{\displaystyle\sum_{i=1}^{n}(x_i)^2}} {\sqrt{n}}$$

Deviazione assoluta media

Mean Absolute Deviation (MAD), è una misura della dispersione che utilizza la distanza di Manhattan, ovvero la somma dei valori assoluti delle differenze dalla media.

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i - \mu|} {n}$$

Ancora una volta, supponendo che i dati siano centrati (la media sottratta) abbiamo la distanza di Manhattan divisa per il numero di misurazioni:

$$MAD = \frac{\displaystyle\sum_{i=1}^{n}|x_i|} {n}$$

Discussione

• La deviazione assoluta media è circa .8 volte (in realtà$\sqrt{2/\pi}$ ) la dimensione della deviazione standard per un set di dati normalmente distribuito.
• Indipendentemente dalla distribuzione, la deviazione assoluta media è inferiore o uguale alla deviazione standard. MAD comprende la dispersione di un set di dati con valori estremi, rispetto alla deviazione standard.
• La deviazione assoluta media è più robusta per i valori anomali (vale a dire che i valori anomali non hanno un grande effetto sulla statistica come sulla deviazione standard.
• Dal punto di vista geometrico, se le misurazioni non sono ortogonali tra loro (iid) - per esempio, se fossero positivamente correlate, la deviazione assoluta media sarebbe una statistica descrittiva migliore rispetto alla deviazione standard, che si basa sulla distanza euclidea (sebbene questo sia generalmente considerato corretto ).

Questa tabella riflette le informazioni di cui sopra in un modo più conciso:

$$\begin{array}{lll} & MAD & \sigma \\ \hline size & \le \sigma & \ge MAD \\ size, \sim N & .8 \times \sigma & 1.25 \times MAD \\ outliers & robust & influenced \\ not\ i.i.d. & robust & ok \end{array}$$

Commenti:

Hai un riferimento per "la deviazione assoluta media è circa .8 volte la dimensione della deviazione standard per un set di dati normalmente distribuito"? Le simulazioni che sto eseguendo mostrano che questo non è corretto.

Ecco 10 simulazioni di un milione di campioni dalla distribuzione normale standard:

>>> from numpy.random import standard_normal
>>> from numpy import mean, absolute
>>> for _ in range(10):
...     array = standard_normal(1_000_000)
...     print(numpy.std(array), mean(absolute(array - mean(array))))
... 
0.9999303226807994 0.7980634269273035
1.001126461808081 0.7985832977798981
0.9994247275533893 0.7980171649802613
0.9994142105335478 0.7972367136320848
1.0001188211817726 0.798021564315937
1.000442654481297 0.7981845236910842
1.0001537518728232 0.7975554993742403
1.0002838369191982 0.798143108250063
0.9999060114455384 0.797895284109523
1.0004871065680165 0.798726062813422

Conclusione

Preferiamo le differenze quadrate nel calcolare una misura di dispersione perché possiamo sfruttare la distanza euclidea, il che ci dà una migliore statistica descrittiva della dispersione. Quando ci sono valori relativamente più estremi, la distanza euclidea rappresenta quello nella statistica, mentre la distanza di Manhattan dà ad ogni misura lo stesso peso.