Perché le misure di dispersione sono meno intuitive della centralità?


11

Sembra esserci qualcosa nella nostra comprensione umana che crea difficoltà a cogliere intuitivamente l'idea della varianza. In senso stretto la risposta è immediata: la quadratura ci allontana dalla nostra comprensione riflessiva. Ma è solo la varianza che presenta problemi o è l'idea di diffusione nei dati? Cerchiamo rifugio nella gamma, o semplicemente affermando il minimo e il massimo, ma stiamo solo evitando la vera difficoltà? Nella media (modalità o mediana) troviamo il centro, il riassunto ... una semplificazione; la varianza diffonde le cose e le mette a disagio. L'uomo primitivo avrebbe sicuramente usato il mezzo per cacciare gli animali triangolando alla preghiera, ma presumo che molto più tardi abbiamo sentito il bisogno di quantificare la diffusione delle cose. In effetti, il termine varianza è stato introdotto per la prima volta da Ronald Fisher nel 1918 nel documento "La correlazione tra parenti sulla supposizione dell'eredità mendeliana".

La maggior parte delle persone che seguono la notizia avrebbe sentito la storia dello sfortunato discorso di Larry Summers sulle attitudini matematiche per genere , che erano probabilmente legate alla sua partenza da Harvard. In breve, ha suggerito una più ampia varianza nella distribuzione della competenza matematica tra i maschi rispetto alle femmine, anche se entrambi i sessi hanno goduto della stessa media. Indipendentemente dall'adeguatezza o dalle implicazioni politiche, questo sembra essere dimostrato nella letteratura scientifica .

Ancora più importante, forse la comprensione di questioni come il cambiamento climatico - ti prego di perdonarmi per aver sollevato argomenti che potrebbero portare a discussioni completamente inesplorate - da parte della popolazione generale potrebbe essere aiutata da una migliore familiarità con l'idea di varianza.

Il problema si aggrava quando proviamo a covarianza, come mostrato in questo post , con una risposta fantastica e colorata di @whuber qui .

Potrebbe essere allettante respingere questa domanda come troppo generale, ma è chiaro che ne stiamo discutendo indirettamente, come in questo post , dove la matematica è banale, ma il concetto continua a essere sfuggente, sostenendo un'accettazione più comoda della gamma come al contrario della varianza dell'idea più sfumata .

In una lettera di Fisher a EBFord , riferendosi alla controversia sui suoi sospetti sugli esperimenti mendeliani, leggiamo: "Ora, quando i dati sono stati falsificati, so benissimo come generalmente le persone sottovalutano la frequenza di grandi deviazioni di probabilità , in modo che il la tendenza è sempre quella di farli concordare troppo bene con le aspettative ... le deviazioni [nei dati di Mendel] sono sorprendentemente piccole. " Il grande RA Fisher è così entusiasta di sospettare piccole variazioni in piccoli campioni che scrive : "rimane una possibilità, tra l'altro che Mendel sia stato ingannato da un assistente che sapeva fin troppo bene cosa ci si aspettava".

Ed è del tutto possibile che questo pregiudizio verso la diffusione sottovalutata o incomprensibile persista oggi. In tal caso, c'è qualche spiegazione del perché siamo più a nostro agio con i concetti di centralità che con la dispersione? C'è qualcosa che possiamo fare per interiorizzare l'idea?

Alcuni concetti che "vediamo" in un lampo, e poi non lo facciamo, tuttavia li accettiamo e andiamo avanti. Ad esempio, o , ma non abbiamo nemmeno bisogno di conoscere queste identità per prendere decisioni nella nostra vita quotidiana. Lo stesso non vale per la varianza. Quindi, non dovrebbe essere più intuitivo?eiπ+1=0E=mc2

Nassim Taleb ha fatto fortuna applicando la sua percezione (beh, davvero di Benoit Mandelbrot ) della comprensione errata della varianza nello sfruttamento dei tempi di crisi, e ha cercato di rendere comprensibile il concetto alle masse con frasi come "la varianza della varianza è, epistemologicamente , una misura della mancanza di conoscenza della mancanza di conoscenza della media "- sì, c'è più contesto in questo boccone ... E a suo merito, ha anche reso più semplice l' idea del Ringraziamento in Turchia . Si potrebbe sostenere che la chiave per investire sia la comprensione della varianza (e della covarianza).

Allora perché è così scivoloso e come rimediare? Senza formule ... solo l'intuizione di anni di gestione dell'incertezza ... Non conosco la risposta, ma non è matematica (necessariamente, cioè): ad esempio, mi chiedo se l'idea della curtosi interferisca con la varianza. Nella trama seguente abbiamo due istogrammi che si sovrappongono praticamente con la stessa varianza; tuttavia, la mia reazione istintiva è che quella con la coda più lunga e il picco più alto (curtosi più elevata) è più "distesa":


2
La varianza è difficile da capire soprattutto perché è quadrata, credo. Le persone non sembrano avere troppe difficoltà con deviazione assoluta media. (Di solito uso quell'idea per lavorare fino alla deviazione standard, ad es.)
gung - Ripristina Monica

È difficile disimparare ciò che si è imparato, ma non sono sicuro che la premessa del titolo sia corretta. Ad esempio, le differenze, incluso l'intervallo, sembrano in qualche modo più intuitive dei riepiloghi come la media o la mediana. I conti differiscono; ma sebbene la media si verifichi nella matematica classica, il suo uso per riassumere i dati è emerso solo lentamente e dolorosamente intorno al 17 ° secolo.
Nick Cox,

1
Nella speranza, le risposte a questo non vengono dirottate in dettagli che non si riferiscono necessariamente al problema - questa domanda riguarda più la varianza di per sé (per la quale la discussione sulla quadratura potrebbe essere rilevante), o il concetto più generale di variabilità (dispersione, diffusione, variazione - per cui non lo farebbe)? [Mi chiedo anche fino a che punto possiamo davvero generalizzare sul senso di intuitività relativa degli altri]
Glen_b -Reststate Monica

L'ultimo. Dovrei chiarirlo. Non sono sicuro della domanda in generale. Sentiti libero di chiuderlo.
Antoni Parellada,

@Antoni Perché dovrei volerlo chiudere? Entrambe le forme sarebbero una buona domanda; è solo che le risposte sarebbero diverse.
Glen_b

Risposte:


9

Condivido la tua sensazione che la varianza sia leggermente meno intuitiva. Ancora più importante, la varianza come misura è ottimizzata per determinate distribuzioni e ha meno valore per le distribuzioni asimmetriche. La differenza assoluta media dalla media non è molto più intuitiva dal mio punto di vista, perché richiede che si scelga la media come misura della tendenza centrale. Preferisco la differenza media di Gini --- la differenza assoluta media su tutte le coppie di osservazioni. È intuitivo, robusto ed efficiente. Per quanto riguarda l'efficienza, se i dati provengono da una distribuzione gaussiana, la differenza media di Gini con un fattore di riscalamento adeguato applicato ad essa è 0,98 efficiente quanto la deviazione standard del campione. Esiste una formula di calcolo efficiente per la differenza media di Gini una volta ordinati i dati. Il codice R è sotto.

w <- 4 * ((1:n) - (n - 1)/2)/n/(n - 1)
sum(w * sort(x - mean(x)))

Tende a enfatizzare eccessivamente la dispersione? Stavo giocando con il tuo codice qui
Antoni Parellada,

1
È una misura valida di dispersione. Se ti piace la sua definizione, non enfatizza nulla.
Frank Harrell,

Assolutamente. Prendo il tuo post come un'opportunità per imparare e il mio commento è stato il mio modo di mostrare interesse. Devo solo leggere di più a riguardo. Grazie!
Antoni Parellada,

1
Solo se il vettore xera già stato ordinato.
Frank Harrell,

4

Ecco alcuni dei miei pensieri. Non affronta ogni angolo da cui potresti guardare la tua domanda, in effetti, c'è molto che non affronta (la domanda sembra un po 'ampia).

Perché è difficile per i laici capire il calcolo matematico della varianza?

La varianza è essenzialmente la diffusione delle cose. Questo è abbastanza facile da capire, ma il modo in cui viene calcolato può sembrare controintuitivo per un laico.

Il problema è che le differenze dalla media sono quadrate (quindi medie) e quindi radicate al quadrato per ottenere la deviazione standard. Noi comprendiamo il motivo per cui questo metodo è necessario - la quadratura è quello di rendere i valori positivi e poi si sono quadrati radicata per ottenere le unità originali. Tuttavia, è probabile che un laico sia confuso con il motivo per cui i numeri sono quadrati e con radice quadrata. Sembra che si annulli (non lo fa), quindi sembra inutile / strano.

Ciò che è più intuitivo per loro è trovare lo spread semplicemente facendo la media delle differenze assolute tra la media e ciascun punto (chiamato Deviazione assoluta media). Questo metodo non richiede la quadratura e il rooting quadrato, quindi è molto più intuitivo.

Nota che solo perché la Deviazione assoluta media è più semplice, non significa che sia "migliore". Il dibattito sull'opportunità di utilizzare i quadrati o i valori assoluti dura da un secolo e coinvolge molti statistici di spicco, quindi una persona a caso come me non può presentarsi qui e dire che uno è meglio. (I quadrati medi per trovare la varianza sono ovviamente più popolari)

In breve: The Squaring per trovare la varianza sembra meno intuitivo per i laici che troverebbero che la media delle differenze assolute sia più semplice. Tuttavia, non credo che le persone hanno un problema con la comprensione del concetto di diffusione per sé


3
+1 per indicare l'effetto della quadratura. Ma penso che il problema vada oltre l'attuale costrutto matematico per misurare la diffusione. È a un livello più radicale del tronco encefalico: lontano dal centro non sembra naturale; il punto centrale è.
Antoni Parellada,

Ah, capisco. Non ero sicuro che si trattasse di "diffusione" o del modo matematico specifico di trovare la diffusione. Temo di non poterla aiutare con l'ex - personalmente non credo la gente ha così tanto di un problema con la comprensione del concetto di diffusione ...
Yang Li

Lo voglio. Ho un sacco di problemi a capire il grado di incertezza, che in gran parte è immediatamente una conseguenza della varianza. Solo non so perché.
Antoni Parellada,

3

Ecco la mia opinione sulla tua domanda.

Inizierò mettendo in discussione una risposta di cui sopra per poi provare a fare il mio punto.

Domanda a precedenti ipotesi:

È davvero i quadrati a rendere difficili da comprendere le misure di dispersione come la Deviazione media quadrata? Sono d'accordo sul fatto che il quadrato lo renda più difficile portando complessità matematica ma se la risposta fosse solo i quadrati, la Deviazione assoluta media sarebbe altrettanto semplice da capire e misure di centralità.

Opinione:

Penso che ciò che ci rende difficile comprendere le misure di dispersione sia che la dispersione stessa è un'informazione bidimensionale. Cercare di riassumere un'informazione bidimensionale in una metrica implica una perdita parziale di informazioni che di conseguenza provoca confusione.

Esempio:

Un esempio che può aiutare a spiegare il concetto sopra è il seguente. Otteniamo 2 diversi set di dati:

  1. Segue una distribuzione gaussiana
  2. Segue una distribuzione sconosciuta e asimmetrica

Supponiamo anche che la dispersione in termini di deviazione standard sia 1.0.

La mia mente tende a interpretare la dispersione dell'insieme 1 molto più chiara di quella dell'insieme 2. In questo caso specifico, viene spiegato il motivo della mia migliore comprensione conoscendo in anticipo la forma bidimensionale della distribuzione mi permette di capire la misura di distribuzione in termini di una probabilità attorno alla media gaussiana centralizzata. In altre parole, la distribuzione gaussiana mi ha dato il suggerimento bidimensionale di cui avevo bisogno per tradurre meglio dalla misura della dispersione.

Conclusione:

In breve, non esiste un modo tangibile per catturare in una Deviazione Misura tutto ciò che c'è in un'informazione bidimensionale. Quello che faccio di solito per capire la dispersione senza guardare direttamente alla distribuzione stessa è combinare molte misure che spiegano una certa distribuzione. Stabiliranno il contesto per la mia mente per avere una migliore comprensione della misura di dispersione stessa. Se potessi usare i grafici, sicuramente i grafici a scatole sono davvero utili per visualizzarli.

Grande discussione che mi ha fatto riflettere molto sulla questione. Sarei felice di sentire la tua opinione.


1
Una risposta ponderata +1. Non ho davvero nulla da aggiungere, tranne per il fatto che penso che probabilmente ci siano anche altri motivi per cui vale la pena esaminare.
Yang Li,

1

Penso che una semplice ragione per cui le persone hanno un momento più difficile con la variabilità (varianza, deviazione standard, MAD o qualsiasi altra cosa) è che non si può veramente capire la variabilità fino a quando non si capisce l'idea del centro. Questo perché le misure di variabilità sono tutte misurate in base alla distanza dal centro.

Concetti come media e mediana sono concetti paralleli, potresti imparare l'uno o l'altro e alcune persone potrebbero avere una migliore comprensione dell'una e altre persone capiranno meglio l'altra. Ma la diffusione è misurata dal centro (per alcune definizioni di centro), quindi non può essere veramente compresa per prima.


+1 Questo ha molto senso - è un concetto secondario ...
Antoni Parellada,

@Greg Snow: tranne che non è corretto; vedi Gini significa differenza dalla risposta di Frank Harrells, che non misura la deviazione da un centro.
kjetil b halvorsen,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.