Dovremmo insegnare la curtosi in un corso di statistica applicata? Se é cosi, come?

Tendenza, diffusione e asimmetria centrali possono essere tutte definite relativamente bene, almeno su base intuitiva; le misure matematiche standard di queste cose corrispondono anche relativamente bene alle nostre nozioni intuitive. Ma la curtosi sembra essere diversa. È molto confuso e non si abbina bene con alcuna intuizione sulla forma distributiva.

Una spiegazione tipica della curtosi in un'impostazione applicata sarebbe questo estratto dalle statistiche applicate per le imprese e la gestione utilizzando Microsoft Excel [ 1 ] :$^{[1]}$

La curtosi si riferisce a quanto è alta una distribuzione o viceversa a quanto è piatta. Se ci sono più valori di dati nelle code, di quello che ti aspetti da una distribuzione normale, la curtosi è positiva. Al contrario, se ci sono meno valori di dati nelle code, di quanto ci si aspetterebbe in una distribuzione normale, la curtosi è negativa. Excel non può calcolare questa statistica a meno che tu non abbia almeno quattro valori di dati.

A parte la confusione tra "kurtosi" e "eccesso di curtosi" (come in questo libro, è comune usare la prima parola per riferirsi a ciò che gli altri autori chiamano quest'ultima), l'interpretazione in termini di "picco" o "piattezza" viene quindi confuso dal passaggio di attenzione a quanti elementi di dati sono nelle code. Considerando sia "picco" e "code" è necessario - Kaplansky [ 2 ]$^{[2]}$si lamentò nel 1945 che molti libri di testo dell'epoca affermavano erroneamente che la curtosi aveva a che fare con quanto il picco della distribuzione fosse elevato rispetto a quello di una distribuzione normale, senza considerare le code. Ma chiaramente il fatto di considerare la forma sia in cima che in coda rende l'intuizione più difficile da cogliere, un punto su cui l'estratto sopra citato salta passando dal picco alla pesantezza delle code come se questi concetti fossero gli stessi.

Inoltre questa classica spiegazione "picco e croce" della curtosi funziona bene solo per distribuzioni simmetriche e unimodali (in effetti, gli esempi illustrati in quel testo sono tutti simmetrici). Tuttavia, il modo generale "corretto" di interpretare la curtosi, sia in termini di "picchi", "code" o "spalle", è stato contestato per decenni . [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ]$^{[2][3][4][5][6]}$

Esiste un modo intuitivo di insegnare la curtosi in un contesto applicato che non colpirà contraddizioni o controesempi quando verrà adottato un approccio più rigoroso? La kurtosi è addirittura un concetto utile nel contesto di questo tipo di corsi di analisi dei dati applicati, a differenza delle lezioni di statistica matematica? Se il "picco" di una distribuzione è un concetto intuitivamente utile, dovremmo invece insegnarlo tramite L-moment [ 7 ] ?$^{[7]}$

Herkenhoff, L. e Fogli, J. (2013). Statistiche applicate per affari e gestione tramite Microsoft Excel. New York, NY: Springer.$[1]$

Kaplansky, I. (1945). "Un errore comune riguardo alla curtosi". Journal of American Statistical Association,40(230): 259.$[2]$

Darlington, Richard B (1970). "La Kurtosis è davvero 'Peakedness'?". The American Statistician24(2): 19–22$[3]$

Moors, JJA. (1986) "Il significato della curtosi: Darlington riesaminato". The American Statistician40(4): 283–284$[4]$

Balanda, Kevin P. e MacGillivray, HL (1988). "Kurtosis: una recensione critica". The American Statistician 42(2): 111-119$[5]$

DeCarlo, LT (1997). "Sul significato e l'uso della curtosi". Metodi psicologici,2(3), 292. Chicago$[6]$

Hosking, JRM (1992). "Momenti o momenti L? Un esempio che confronta due misure della forma distributiva". The American Statistician46(3): 186–189$[7]$

La kurtosi è davvero molto semplice ... e utile. È semplicemente una misura di valori anomali o code. Non ha nulla a che fare con il picco di sorta - questa definizione deve essere abbandonata.

Ecco un set di dati:
0, 3, 4, 1, 2, 3, 0, 2, 1, 3, 2, 0, 2, 2, 3, 2, 5, 2, 3, 999

Si noti che "999" è un valore anomalo.

Ecco i valori di dal set di dati:$z^4$

0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00,0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 0,00, 360,98

Si noti che solo il valore erratico fornisce una notevolmente diversa da 0.$z^4$

La media di questi valori di è la curtosi della distribuzione empirica (sottrai 3 se vuoi, non importa per il punto che sto facendo): 18.05$z^4$

Da questo calcolo dovrebbe essere ovvio che i dati vicini al "picco" (i dati non anomali) non contribuiscono quasi nulla alla statistica della curtosi.

La kurtosi è utile come misura di valori anomali. I valori anomali sono importanti per gli studenti elementari e quindi la curtosi dovrebbe essere insegnata. Ma la kurtosi non ha praticamente nulla a che fare con il picco, che sia appuntito, piatto, bimodale o infinito. Puoi avere tutto quanto sopra con una piccola curtosi e tutto quanto sopra con una grande curtosi. Quindi non dovrebbe MAI essere presentato come qualcosa che ha a che fare con il picco, perché insegnerà informazioni errate. Inoltre rende il materiale inutilmente confuso e apparentemente meno utile.

Sommario:

1. la curtosi è utile come misura delle code (valori anomali).
2. la curtosi non ha nulla a che fare con il picco.
3. la curtosi è praticamente utile e dovrebbe essere insegnata, ma solo come misura di valori anomali. Non menzionare il picco durante l'insegnamento della kurtosi.

Questo articolo spiega chiaramente perché la definizione di "Peakedness" è ora ufficialmente morta.

Westfall, PH (2014). " Kurtosis as Peakedness, 1905 - 2014. RIP " The American Statistician , 68 (3), 191–195.

Mentre la domanda è piuttosto vaga, è interessante. A quali livelli viene insegnata la kurtosi? Ricordo di essere stato menzionato in un corso (di livello master) di modelli lineari (molto tempo fa, basato sulla prima edizione del libro di Seber). Non era un argomento importante, ma entra in argomenti come lo studio della (mancanza di) robustezza del test del rapporto di verosimiglianza (test F) dell'uguaglianza delle varianze, dove il livello corretto (dalla memoria) dipende asintoticamente dall'avere la stessa curtosi del distribuzione normale, che è troppo da presumere! Abbiamo visto un documento (ma non l'ho mai letto con i dettagli) http://www.jstor.org/stable/4615828?seq=1#page_scan_tab_contents di Oja, che cerca di scoprire quale sciattezza, curtosi e simili misure.

Perché lo trovo interessante? Perché ho insegnato in America Latina, dove sembra che l'asimmetria e la curtosi siano insegnate da molti argomenti importanti, e provando a dire agli studenti post-laurea (molti dell'economia) che la curtosi è una cattiva misura della forma di una distribuzione (principalmente perché la variabilità del campionamento delle quarte potenze è semplicemente troppo grande), è stato difficile. Stavo cercando di farli usare invece QQplots. Quindi, ad alcuni dei commentatori, sì, questo viene insegnato in alcuni posti, probabilmente a molto!

A proposito, questa non è solo la mia opinione. Il seguente post sul blog https://www.spcforexcel.com/knowledge/basic-statistics/are-skewness-and-kurtosis-useful-statistics contiene questa citazione (attribuita al Dr. Wheeler):

In breve, l'asimmetria e la curtosi sono praticamente inutili. Shewhart fece questa osservazione nel suo primo libro. Le statistiche sull'asimmetria e la curtosi semplicemente non forniscono alcuna informazione utile oltre a quella già fornita dalle misure di localizzazione e dispersione.

Dovremmo insegnare tecniche migliori per studiare le forme di distribuzioni! come QQplot (o relativi grafici di distribuzione). E, se qualcuno ha ancora bisogno di misure numeriche, le misure basate sui momenti L sono migliori. Citerò un passaggio dall'articolo JR Statist Soc B (1990) 52, n. 1, pp 105-124 di JRM Hosking: "L-moment: analisi e stima della distribuzione mediante combinazione lineare di statistiche d'ordine", pagina 109:

Una giustificazione alternativa di queste interpretazioni dei momenti L può essere basata sul lavoro di Oja (1981), Oja ha definito criteri intuitivamente ragionevoli per una distribuzione di probabilità sulla linea reale da localizzare più a destra (più dispersa, più inclinata, più kurtotic) di un altro. Una funzione a valore reale di una distribuzione che preserva l'ordinamento parziale delle distribuzioni implicito da questi criteri può quindi ragionevolmente essere definita una "misura della posizione (dispersione, asimmetria, curtosi)". Dall'opera di Oja segue immediatamente che e λ 2 , nella notazione di Oja, μ ( F $\lambda_1$$\lambda_2$$\mu(F)$$\frac12 \sigma_1(F)$$\tau_3$$\tau_4$

(Per il momento, mi riferisco al documento per le definizioni di queste misure, sono tutte basate sui momenti a L). La cosa interessante è che, la misura tradizionale della curtosi, basata sui quarti momenti, è non una misura della curtosi nel senso di Oja! (Modificherò i riferimenti per tale affermazione quando posso trovarlo).

A mio avviso, il coefficiente di asimmetria è utile per motivare i termini: positivamente distorto e negativamente distorto. Ma è qui che si ferma, se il tuo obiettivo è valutare la normalità. Le misure classiche di asimmetria e curtosi spesso non riescono a catturare vari tipi di deviazione dalla normalità. Di solito chiedo ai miei studenti di usare tecniche grafiche per valutare che è ragionevole valutare la normalità, come un diagramma qq o un diagramma probabilità normale. Anche con un campione di dimensioni adeguate, è possibile utilizzare anche un istogramma. I grafici a scatole sono utili anche per identificare valori anomali o addirittura code pesanti.

Ciò è in linea con le raccomandazioni di una task force dell'APA del 1999:

" Ipotesi. È necessario impegnarsi per garantire che i presupposti sottostanti richiesti per l'analisi siano ragionevoli dati i dati. Esaminare attentamente i residui. Non utilizzare test distributivi e indici statistici di forma (ad es. Asimmetria, curtosi) come sostituto dell'esame grafico dei residui. L'uso di un test statistico per diagnosticare problemi nell'adattamento del modello presenta diversi difetti. In primo luogo, i test di significatività diagnostica basati su statistiche riassuntive (come i test per l'omogeneità della varianza) sono spesso impraticabilmente sensibili; i nostri test statistici sui modelli sono spesso più solidi dei nostri test statistici sui presupposti. In secondo luogo, statistiche come l'asimmetria e la curtosi spesso non riescono a rilevare irregolarità distributive nei residui. In terzo luogo, i test statistici dipendono dalla dimensione del campione e all'aumentare della dimensione del campione, i test spesso rifiuteranno ipotesi innocue. In generale, non vi è alcun sostituto per l'analisi grafica delle ipotesi."

Riferimento: Wilkinson, L. e Task Force sull'inferenza statistica. (1999). Metodi statistici nelle riviste di psicologia: linee guida e spiegazioni. Psicologo americano, 54, 594-604.

A seconda di come viene applicato il corso, potrebbe sorgere la questione dell'accuratezza delle stime. L'accuratezza della stima della varianza dipende fortemente dalla curtosi. La ragione per cui ciò accade è che con un'alta curtosi, la distribuzione consente dati rari, estremi potenzialmente osservabili. Pertanto, il processo di generazione dei dati produrrà valori molto estremi in alcuni campioni e valori non così estremi in altri. Nel primo caso, si ottiene una stima della varianza molto ampia e nel secondo una stima della varianza ridotta.

Se l'interpretazione "di picco" superata e errata venisse eliminata, e l'attenzione fosse data interamente ai valori anomali (cioè, osservabili estremi, rari) invece, sarebbe più facile insegnare la curtosi in corsi introduttivi. Ma le persone si trasformano in nodi cercando di giustificare il "picco" perché è (erroneamente) affermato in quel modo nei loro libri di testo e mancano le vere applicazioni della curtosi. Queste applicazioni si riferiscono principalmente ai valori anomali e, naturalmente, i valori anomali sono importanti nei corsi di statistica applicata.

Francamente, non capisco perché la gente voglia complicare le cose semplici. Perché non mostrare solo la definizione (rubata da Wikipedia ):

È possibile sostituire l'operatore delle aspettative con stimatori basati sulla somma $\frac 1 n \sum_{i=1}^n$, ovviamente. Aiuta a discutere le unità di misura di$\mu,\sigma^2,\mu_4$e mostra perché il quarto momento dovrebbe essere ridimensionato dal quadrato della varianza per rendere la curtosi la misura senza dimensioni, cioè un parametro di forma. Quindi, ora abbiamo posizione$\mu$, scala $\sigma^2$e qualsiasi numero di parametri per descrivere la forma come inclinazione e curtosi. Comincerei sempre con le equazioni. Le spiegazioni presumibilmente facili da comprendere in un inglese semplice rendono tutto più confuso. Verbosità$\ne$ chiarezza.