Differenze nella definizione di curtosi e nella loro interpretazione

Di recente mi sono reso conto che ci sono differenze nei valori di curtosi forniti da SPSS e Stata.

Vedi http://www.ats.ucla.edu/stat/mult_pkg/faq/general/kurtosis.htm

La mia comprensione è che l'interpretazione della stessa sarebbe quindi diversa.

Qualche consiglio su come gestirlo?

— Cesare Camestre
fonte

Conoscevo le prime due formule ed è abbastanza facile distinguerle; Non avevo visto quella terza formula.

— Peter Flom

Risposte:

Le tre formule

Tre formule per la curtosi sono generalmente utilizzate da diversi programmi. tutte e tre le formule ( , e ) e i programmi che le usano. $g_{2}$ $G_{2}$ $b_{2}$

La prima formula e la definizione tipica utilizzate in molti libri di testo è (questa è la seconda formula nel collegamento che hai fornito) dove indica i momenti di esempio :

g_{2} = \frac{m_{4}}{m_{2}^{2}}

$g_{2}=\frac{m_{4}}{m_{2}^{2}}$

m_{r}

$m_{r}$

m_{r} = \frac{1}{n} Σ (X_{io} - \bar{X})^{r}

$m_{r}=\frac{1}{n}\sum(x_{i}-\bar{x})^{r}$

A volte, un termine di correzione di -3 viene aggiunto a questa formula in modo che una distribuzione normale abbia una curtosi di 0. La formula di curtosi con un termine di -3 è chiamata eccesso di curtosi (la prima formula nel collegamento che hai fornito).

La seconda formula è (utilizzata da SAS, SPSS e MS Excel; questa è la terza formula nel collegamento che hai fornito)

{sol}_{2} = \frac{K_{4}}{K_{2}^{2}} = \frac{n - 1}{(n - 2) (n - 3)} [(n + 1) g_{2} + 6]

$G_{2} = \frac{k_{4}}{k_{2}^{2}}= \frac{n-1}{(n-2)(n-3)}\left[(n+1)g_{2}+6\right]$

dove è la curtosi come definita nella prima formula. $g_{2}$

La terza formula è (utilizzata da MINITAB e BMDP)

b_{2} = \frac{m_{4}}{s^{4}} - 3 = {(\frac{n - 1}{n})}^{2} \frac{m_{4}}{m_{2}^{2}} - 3

$b_{2}=\frac{m_{4}}{s^{4}}-3=\left(\frac{n-1}{n}\right)^{2}\frac{m_{4}}{m_{2}^{2}}-3$

dove è la varianza del campione imparziale : $s^2$

s^{2} = \frac{1}{n - 1} \sum (x_{i} - \bar{x})^{2}

$s^2=\frac{1}{n-1}\sum(x_{i}-\bar{x})^2$

Nella Rcurtosi può essere calcolato usando la kurtosisfunzione dal e1071pacchetto (link qui ). L'opzione typedetermina quale delle tre formule viene utilizzata per i calcoli (1 = , 2 = , 3 = ). $g_{2}-3$ $G_{2}$ $b_{2}$

Questi due articoli discutono e confrontano tutte e tre le formule: prima , seconda .

Riepilogo delle differenze tra le formule

Usando , una distribuzione normale ha un valore di kurtosi di 3 mentre nelle formule che implicano un termine di correzione -3 (cioè e ), una distribuzione normale ha una kurtosi in eccesso di 0. $g_{2}$ $G_{2}$ $b_{2}$
$G_{2}$ è l' unica formula che fornisce stime imparziali per i campioni normali (vale a dire che l'aspettativa di sotto la normalità è zero, oppure ). $G_{2}$ $\mathbb{E}(G_{2})=0$
Per campioni di grandi dimensioni, la differenza tra le formule è trascurabile e la scelta non conta molto.
Per piccoli campioni di una distribuzione normale, la relazione delle tre formule in termini di errori quadrati medi (MSE) è: . Quindi ha il più piccolo e il più grande (sebbene solo sia imparziale). Questo perché presenta la più grande varianza delle tre formule: . $\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})<\operatorname{mse}(G_{2})$ $g_{2}$ $G_{2}$ $G_{2}$ $G_{2}$ $\operatorname{Var}(b_{2})<\operatorname{Var}(g_{2})<\operatorname{Var}(G_{2})$
Per piccoli campioni di distribuzioni non normali , la relazione delle tre formule in termini di bias è: . In termini di erorrs al quadrato medio: . Quindi presenta l'errore quadratico medio più piccolo e il minimo pregiudizio delle tre formule. presenta l'errore e la distorsione al quadrato medio più grande. $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(G_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(b_{2})$ $G_{2}$ $b_{2}$
Per campioni di grandi dimensioni ( ) da distribuzioni non normali $n>200$ , la relazione delle tre formule in termini di bias è: . In termini di erorrs al quadrato medio: . $\operatorname{bias}(G_{2})<\operatorname{bias}(g_{2})<\operatorname{bias}(b_{2})$ $\operatorname{mse}(b_{2})<\operatorname{mse}(g_{2})<\operatorname{mse}(G_{2})$

Vedi anche la pagina Wikipedia e la pagina MathWorld sulla curtosi.

— COOLSerdash
fonte

Definirei questa una bella e chiara interpretazione della "solita storia". Aggiungo che i termini leptokurtic, mesokurtic, platykurtic sono solo i bagagli che dovremmo lasciare nel 20 ° secolo: abbiamo una misura, che dovremmo pensare quantitativamente. Più seriamente, l'interpretazione raggiunta rispetto a quella piatta non giustifica la grande variazione delle possibili forme di distribuzioni, anche quelle tutte simmetriche. Infine, il pregiudizio in pratica non morde molto a meno che tu non stia giocando con campioni inappropriatamente piccoli, ma la varianza lo fa davvero!

— Nick Cox,

Potresti chiarire l'articolo di riepilogo n. 2? Evidentemente è una statistica di esempio, ma ovviamente non è identicamente zero per nessuno ma per una distribuzione degenerata. Forse intendevi dire che la sua aspettativa è zero? (A proposito, che cos'è " " nella sua formula? forse?)

G_{2}

$G_2$

γ_{2}

$\gamma_2$

g_{2}

$g_2$

— whuber

@whuber: Sì, è l'aspettativa di che è zero, ovviamente. Il era un relitto di una risposta precedente e dovrebbe essere (cambiato ora); Ho modificato la mia risposta abbastanza pesantemente.

G_{2}

$G_{2}$

γ_{2}

$\gamma_{2}$

g_{2}

$g_{2}$

— COOLSerdash

OK, sembra migliore. Lo voterò, ma spero che alla fine rimuoverai la frase "Per una distribuzione normale

G_{2} = 0

$G_2=0$

— whuber

Il link in questione parla anche di SAS. Ma in realtà nulla in questa domanda, tranne forse il focus del poster, lo limita a quei programmi con un nome particolare.

Penso che qui dobbiamo separare tipi di problemi abbastanza diversi, alcuni dei quali sono illusori e altri autentici.

Alcuni programmi lo fanno e altri no sottraendo 3 in modo che la misura della curtosi riportata sia 3 per le variabili gaussiane / normali senza sottrazione e 0 con sottrazione. Ho visto persone perplesse da questo, spesso quando la differenza risulta essere 2.999 e non esattamente 3.
Alcuni programmi utilizzano fattori di correzione progettati per garantire che la curtosi sia stimata senza distorsioni. Questi fattori di correzione si avvicinano a 1 man mano che la dimensione del campione aumenta. Dato che la curtosi non è ancora ben stimata in piccoli campioni, ciò non dovrebbe destare molta preoccupazione. $n$

Quindi, c'è un piccolo problema di formule, il n. 1 è un affare molto più grande del n. 2, ma entrambi minori se compresi. Il consiglio è chiaramente quello di consultare la documentazione per il programma che stai usando e se non c'è documentazione che spieghi quel tipo di dettagli per abbandonare immediatamente quel programma. Ma un caso di test semplice come una variabile (1, 2) produce una curtosi di 1 o 4 a seconda del solo # 1 (senza fattore di correzione).

La domanda si pone quindi sull'interpretazione, ma questa è una questione molto più aperta e controversa.

Prima di arrivare all'area di discussione principale, una difficoltà spesso segnalata ma poco nota è che le stime della curtosi sono limitate in funzione della dimensione del campione. Ho scritto una recensione su Cox, New Jersey 2010. I limiti dell'asimmetria del campione e della curtosi. Stata Journal 10 (3): 482-495. http://www.stata-journal.com/article.html?article=st0204

Riassunto: l'asimmetria e la curtosi del campione sono limitate dalle funzioni della dimensione del campione. I limiti, o approssimazioni ad essi, sono stati ripetutamente riscoperti negli ultimi decenni, ma tuttavia sembrano rimanere solo poco conosciuti. I limiti impartiscono distorsioni alla stima e, in casi estremi, implicano che nessun campione è in grado di testimoniare esattamente la sua distribuzione madre. I risultati principali sono spiegati in una revisione del tutorial e viene mostrato come Stata e Mata possono essere usati per confermare ed esplorare le loro conseguenze.

Ora quello che è comunemente considerato il nocciolo della questione:

Molte persone traducono la curtosi come picco, ma altri sottolineano che spesso funge da misura del peso della coda. In effetti, le due interpretazioni potrebbero essere entrambe una formulazione ragionevole per alcune distribuzioni. È quasi inevitabile che non ci sia una semplice interpretazione verbale della kurtosi: il nostro linguaggio non è abbastanza ricco per il confronto di somme di quarto potere di deviazione dalla media e somme di secondo potere della stessa.

In un classico minore e spesso trascurato, Irving Kaplansky (1945a) ha attirato l'attenzione su quattro esempi di distribuzioni con diversi valori di curtosi e comportamento non coerenti con alcune discussioni sulla curtosi.

$x$ $c = \sqrt{\pi}$

$(1)\ \ \ (1 / 3c) (9/4 + x^4) \exp(-x^2)$

$(2)\ \ \ (3 / (c \sqrt8)) \exp(-x^2 / 2) - (1 / 6c) (9/4 + x^4) \exp(-x^2)$

$(3)\ \ \ (1 / 6c) (\exp(-x^2 / 4) + 4 \exp(-x^2))$

$(4)\ \ \ (3 \sqrt3 / 16c) (2 + x^2) \exp(-3x^2 / 4)$

$\approx$

È istruttivo tracciare queste densità. Gli utenti Stata possono scaricare il mio kaplanskyprogramma da SSC. L'uso di una scala logaritmica per la densità può aiutare.

Senza rivelare tutti i dettagli, questi esempi minano qualsiasi semplice storia secondo cui la curtosi bassa o alta ha una chiara interpretazione in termini di picco o di qualsiasi altro singolo contrasto.

Se il nome Irving Kaplansky suona un campanello, probabilmente è perché conosci il suo lavoro nella moderna algebra. Lui (1917-2006) fu un matematico canadese (poi americano) e insegnò e studiò ad Harvard, Chicago e Berkeley, con un anno di guerra nel gruppo di matematica applicata del National Defense Council della Columbia University. Kaplansky apportò importanti contributi alla teoria dei gruppi, alla teoria degli anelli, alla teoria delle algebre degli operatori e alla teoria dei campi. Era un abile pianista e paroliere e un entusiasta e lucido espositore di matematica. Nota anche alcuni altri contributi alla probabilità e alle statistiche di Kaplansky (1943, 1945b) e Kaplansky e Riordan (1945).

Kaplansky, I. 1943. Una caratterizzazione della distribuzione normale. Annali delle statistiche matematiche 14: 197-198.

Kaplansky, I. 1945a. Un errore comune riguardo alla curtosi. Diario, solo American Statistical Association 40: 259.

Kaplansky, I. 1945b. La distribuzione asintotica di corse di elementi consecutivi. Annali delle statistiche matematiche 16: 200-203.

Kaplansky, I. e Riordan, J. 1945. Corrispondenza multipla e corse con il metodo simbolico. Annali delle statistiche matematiche 16: 272-277.

— Nick Cox
fonte

+1 Commenti interessanti su Kaplansky, con i cui lavori algebrici conosco da tempo.

— whuber

Nick, il tuo commento "In effetti, le due interpretazioni (picco e coda) potrebbero entrambi essere una formulazione ragionevole per alcune distribuzioni." non è corretto quindi non è utile, semplicemente perché la curtosi non dice nulla di "picco". Seriamente, puoi anche definire cosa significa "picco"? E, se posso, un seguito: data la tua definizione di "picco" (supponendo che tu possa trovarne uno), come si collega, matematicamente, alla curtosi?

— Peter Westfall,

@Peter Westfall Se possiamo concordare sul fatto che la curtosi è ciò che la curtosi misura, allora la mia argomentazione è solo l'argomento di Kaplansky, che si basa su curve concrete e risultati numerici, non su sparring verbale, cioè che una curtosi più elevata a volte va con densità di picco più elevate, e viceversa per curtosi inferiore. Non sono affatto parziale al termine picco, e quando sono obbligato a semplificare verbalmente, tendo ad affermare che in pratica la curtosi è principalmente una storia di peso della coda. Penso che le formule qui svolgano tutto il lavoro e portino tutto il peso statistico e trovino meno utile la polemica verbale.

— Nick Cox,

Inoltre, non posso suggerire una facile caratterizzazione della curtosi, tranne che per distribuzioni interamente simmetriche. Non penso che nessuno sia obbligato a definire il picco; la definizione che esiste è quella della curtosi e le domande pratiche sono: come pensarci e fino a che punto è utile.

— Nick Cox,

L'affermazione "semplicemente perché la curtosi non dice nulla sul picco" è essa stessa priva di fondamento. Riferimenti mancanti includerebbero sicuramente il tuo documento in TAS, che è accessibile alle persone interessate per considerare la tua discussione più lunga.

— Nick Cox,