In che modo la curtosi di una distribuzione è correlata alla geometria della funzione di densità?

12

La curtosi consiste nel misurare il picco e la piattezza di una distribuzione. La funzione di densità della distribuzione, se esiste, può essere vista come una curva e ha caratteristiche geometriche (come curvatura, convessità, ...) correlate alla sua forma.

Quindi mi chiedo se la curtosi di una distribuzione sia correlata ad alcune caratteristiche geometriche della funzione di densità, che può spiegare il significato geometrico della curtosi?

kurtosis geometry

— Tim
fonte

Sto chiedendo una relazione in formula con una quantità geometrica della curva di densità, non solo il vago significato che ho sottolineato nel mio post. Oppure va bene avere solo una spiegazione del perché la curtosi ha il significato geometrico

— Tim

@Peter Questo è lontano dalla verità. Si può modificare la geometria del grafico del PDF in modo quasi arbitrario senza cambiare alcun momento (numero finito dei suoi) specificato.

— whuber

La domanda strettamente correlata su stats.stackexchange.com/questions/25010/… suggerisce quale dovrebbe essere la risposta giusta a questa domanda.

— whuber

@whuber mentre sono d'accordo e ti ringrazio per quell'esempio, mi chiedo anche se non dice di più sulla straordinaria proprietà di quella particolare famiglia di pdf di quanto non faccia sulla kurtosi in generale.

— user603

@ user603 Questa è una buona cosa da chiedersi. Tuttavia, l'affermazione non riguarda questa particolare famiglia: accade semplicemente che per la distribuzione lognormale si possa produrre una rappresentazione esplicita di una classe di PDF alternativi con gli stessi momenti. Si è speciale che tutti i momenti sono gli stessi, ma perturbante maggior parte delle distribuzioni in un modo che corregge un numero finito di loro momenti non è difficile. (È difficile per alcune distribuzioni discrete, come i Bernoulli, ma non hanno PDF.)

— whuber

17

I momenti di una distribuzione continua, e le loro funzioni come la curtosi, ti dicono molto poco sul grafico della sua funzione di densità.

Considera, ad esempio, i seguenti grafici.

inserisci qui la descrizione dell'immagine

Ognuno di questi è il grafico di una funzione non negativa che si integra con : sono tutti PDF. Inoltre, hanno tutti esattamente gli stessi momenti - ogni ultimo infinito numero di essi. Quindi condividono una kurtosi comune (che corrisponde a ) $1$ $-3+3 e^2+2 e^3+e^4$

Le formule per queste funzioni sono

f_{k, s} (x) = \frac{1}{\sqrt{2 π} x} \exp (- \frac{1}{2} (\log (x))^{2}) (1 + s \sin (2 k π \log (x))

$f_{k,s}(x) = \frac{1}{\sqrt{2\pi}x} \exp\left(-\frac{1}{2}(\log(x))^2\right)\left(1 + s\sin(2 k \pi \log(x)\right)$

per e $x \gt 0,$ $-1\le s\le 1,$ $k\in\mathbb{Z}.$

La figura mostra i valori di a sinistra e i valori di nella parte superiore. La colonna di sinistra mostra il PDF per la distribuzione lognormale standard. $s$ $k$

L'esercizio 6.21 in Advanced Theory of Statistics di Kendall (Stuart & Ord, 5a edizione) chiede al lettore di dimostrare che tutti hanno gli stessi momenti.

Allo stesso modo si può modificare qualsiasi pdf per creare un altro pdf di forma radicalmente diversa ma con gli stessi secondi e quarti momenti centrali (diciamo), che quindi avrebbero la stessa curtosi. Da questo solo esempio dovrebbe essere chiaro che la curtosi non è una misura facilmente interpretabile o intuitiva di simmetria, unimodalità, bimodalità, convessità o qualsiasi altra caratterizzazione geometrica familiare di una curva.

Le funzioni dei momenti, quindi (e la curtosi come caso speciale) non descrivono le proprietà geometriche del grafico del pdf. Ciò ha un senso intuitivo: poiché un pdf rappresenta la probabilità per mezzo di un'area, possiamo spostare quasi liberamente la densità di probabilità da una posizione all'altra, modificando radicalmente l'aspetto del pdf, fissando qualsiasi numero finito di momenti predefiniti.

— whuber
fonte

1

"Da questo solo esempio dovrebbe essere abbondantemente chiaro ... qualsiasi altra caratterizzazione geometrica familiare di una curva." Capisco cosa intendi, ma qui c'è motivo per una ragionevole divergenza nell'interpretazione. Un'altra interpretazione è quella di Darlington, che mostra come a partire da una distribuzione simmetrica, spostare una massa in punti specifici aumenta / diminuisce la curtosi (di nuovo, non una contraddizione del tuo esempio, solo una comprensione più "positiva").

— user603

1

@ user603 Non sono in disaccordo, ma penso che l'approccio "positivo" trascuri le ipotesi molto speciali che sono implicitamente fatte perché funzioni. Si potrebbe anche iniziare con il grafico di un PDF estremamente asimmetrico la cui asimmetria è zero (non sono difficili da costruire). Pertanto, questo approccio positivo descrive semplicemente cosa succede a determinati PDF molto speciali quando la massa viene spostata. Sebbene ciò possa essere abbastanza utile per l'intuizione, sembra non avere alcun legame logico con la presente domanda.

— whuber

1

Sono d'accordo per l'asimmetria (e per la tua risposta in generale). Ma la curtosi, in funzione, ha un minimo. Questo rende le cose leggermente più interessanti.

— user603

1

@ user603 Grazie; questa è una distinzione perspicace. Non penso che cambi le conclusioni presenti in modi importanti, ma certamente aiuta l'intuizione e indica un'importante differenza tra momenti pari e dispari.

— whuber

6

Per le distribuzioni simmetriche (ovvero quelle per le quali i momenti pari centrati sono significativi) la curtosi misura una caratteristica geometrica del pdf sottostante. Non è vero che la curtosi misura (o è generalmente correlata) al picco di una distribuzione. Piuttosto, la curtosi misura quanto la distribuzione sottostante sia simmetrica e bimodale (algebricamente, una distribuzione perfettamente simmetrica e bimodale avrà una curtosi di 1, che è il valore più piccolo possibile che la curtosi può avere) [0].

In breve [1], se si definisce:

k = E (x - μ)^{4} / σ^{4}

$k=E(x-\mu)^4/\sigma^4$

$E(X)=\mu,V(X)=\sigma^2$

k = V (Z^{2}) + 1 \geq 1

$k=V(Z^2)+1\ge1$

$Z=(X-\mu)/\sigma$

$k$ $Z^2$

[0] RB Darlington (1970). Kurtosis è davvero "Peakedness?". The American Statistician, Vol. 24, n. 2.

[1] JJA Moors (1986). Il significato di Kurtosis: Darlington Reexamined. The American Statistician, Volume 40, Numero 4.

— user603
fonte

1

Ovunque scrivi "bimodale" intendi forse "unimodale"?

— whuber

1

f

$f$

μ

$\mu$

g (x) = (f (x) + f (2 μ - x)) / 2.

$g(x) = (f(x)+f(2\mu-x))/2.$

g

$g$

1

$1$ . Quindi, almeno, la curtosi non dice nulla sulla bimodalità. Dal momento che non lo fa, esattamente quale proprietà geometrica del pdf sta descrivendo?

— whuber

1

dobbiamo continuare questa discussione in videochat

— whuber

1

La kurtosi non indica la bimodalità, tranne nel caso estremo in cui è vicino al suo minimo, dove indica qualcosa di simile alla distribuzione equiprobabile a due punti. Puoi avere distribuzioni bimodali con ogni possibile valore di curtosi. Vedi ncbi.nlm.nih.gov/pmc/articles/PMC4321753 per esempi.

— Peter Westfall,

1

p

$p$

p

$p$

v \to 0

$v \rightarrow 0$

5

[NB questo è stato scritto in risposta a un'altra domanda sul sito; le risposte sono state unite alla presente domanda. Questo è il motivo per cui questa risposta sembra rispondere a una domanda diversamente formulata. Comunque gran parte del post dovrebbe essere rilevante qui.]

Kurtosis non misura davvero la forma delle distribuzioni. All'interno di alcune famiglie di distribuzione, forse, puoi dire che descrive la forma, ma più in generale la kurtosi non ti dice molto sulla forma reale. La forma è influenzata da molte cose, comprese le cose non correlate alla curtosi.

Se si eseguono ricerche di immagini per curtosi, vengono visualizzate alcune immagini come questa:

che invece sembrano mostrare una variazione variabile, piuttosto che aumentare la curtosi. Per fare un confronto, ecco tre densità normali che ho appena disegnato (usando R) con diverse deviazioni standard:

inserisci qui la descrizione dell'immagine

Come puoi vedere, sembra quasi identico alla foto precedente. Tutti hanno esattamente la stessa kurtosi. Al contrario, ecco un esempio che è probabilmente più vicino a quello a cui mirava il diagramma

inserisci qui la descrizione dell'immagine

$\sqrt{6}$

Questo di solito è ciò che le persone intendono quando parlano di curtosi che indica la forma della densità. Tuttavia, la kurtosi può essere sottile - non deve funzionare in questo modo.

Ad esempio, a una data varianza può effettivamente verificarsi una curtosi più elevata con un picco inferiore.

Bisogna anche stare attenti alla tentazione (e in parecchi libri si afferma apertamente) che la curtosi zero in eccesso implica la normalità. Ci sono distribuzioni con eccesso di curtosi 0 che non sono affatto normali. Ecco un esempio:

dgam 2.3

In effetti, ciò illustra anche il punto precedente. Potrei facilmente costruire una distribuzione dall'aspetto simile con una curtosi più elevata rispetto alla normale ma che è ancora zero al centro - una completa assenza di picco.

Esistono numerosi post sul sito che descrivono ulteriormente la curtosi. Un esempio è qui .

— Glen_b -Restate Monica
fonte

Ma non l'ho detto? Lo dice il libro?

— Stat Tistician,

Lo so. Non ho mai detto che l'hai detto. Come suggeriresti di rispondere a dichiarazioni palesemente errate di cui mi chiedi? Fai finta che non abbiano torto?

— Glen_b -Restate Monica

1

@Glen_b Le immagini non sono tratte dal libro. Il libro non fornisce illustrazioni. Ho usato la ricerca di immagini di goolge per queste illustrazioni.

— Stat Tistician,

2

Alcuni autori scrivono della curtosi come picco e alcuni ne scrivono come peso della coda, ma l'interpretazione scettica che la curtosi è qualunque cosa la curtosi sia l'unica storia totalmente sicura. Solo esempi numerici forniti da Irving Kaplansky (1945) sono sufficienti a dimostrare che la curtosi non porta inequivocabilmente nessuna interpretazione. (L'articolo di Kaplansky è uno dei pochi che ha scritto a metà degli anni '40 su probabilità e statistica. È molto più conosciuto come algebrista distinto.) Riferimenti completi e altro ancora all'interno di-journal.com/sjpdf.html?articlenum=st0204

— Nick Cox,

1

Ci sono libri e documenti che affermano che la curtosi è un picco, quindi la mia prima clausola rimane corretta e anche come una dichiarazione su ciò che è in letteratura. La cosa più cruciale è come si considerano gli esempi e gli argomenti di Kaplansky.

— Nick Cox,

3

$\mu \pm \sigma$

Modifica 23/11/2018: da quando ho scritto questo post, ho sviluppato alcune prospettive geometriche sulla curtosi. Uno è che l'eccesso di curtosi può effettivamente essere visualizzato geometricamente in termini di deviazioni dalla prevista linea di 45 gradi nelle code del normale diagramma quantile-quantile; vedi Questo diagramma QQ indica la distribuzione leptokurtic o platykurtic?

$p_V(v)$ $V = \{(X - \mu)/\sigma \}^4$ $X$ $E(V)$ $V$ $X$

$\mu \pm \sigma$ $X$ $\mu \pm \sigma$ $\mu$ $\sigma$ $X$ $\le 0.25$ $\mu \pm \sigma$ $\mu$ $\sigma$

— Peter Westfall
fonte

3

Invece di continuare a riferire le persone a un articolo nella maggior parte dei tuoi post, ti dispiacerebbe riassumere gli argomenti qui? Vedi l'aiuto qui sotto "Fornisci sempre il contesto per i collegamenti", in particolare dove dice "cita sempre la parte importante". Non è necessariamente citarlo letteralmente dove l'argomento è esteso, ma è necessario almeno un sommario dell'argomento. Fai solo un paio di affermazioni radicali e poi fai un collegamento a un documento. L'affermazione secondo cui la curtosi misura il comportamento della coda è (contesto assente) fuorviante (in modo dimostrabile)

— Glen_b -Reststate Monica

2

... ma è impossibile non essere d'accordo con argomenti che non presenti qui, e forse arrivare a una conclusione più sfumata.

— Glen_b

I miei argomenti sono chiaramente esposti qui: en.wikipedia.org/wiki/… Commenti benvenuti! A proposito, la curtosi È una misura del peso della coda, ma non è la stessa di altri che sono stati considerati. Misura il peso della coda tramite E (Z ^ 4), che è una misura del peso della coda poiché i valori | Z | <1 contribuiscono così poco ad esso. Secondo la stessa logica, E (Z ^ n), per potenze pari più elevate n, sono anche misure di peso della coda.

— Peter Westfall,

Ciao Peter, visita stats.stackexchange.com/help/merging-accounts per unire i tuoi account in modo da poter modificare i vecchi post.

— whuber

3

Un diverso tipo di risposta: possiamo illustrare geometricamente la curtosi, usando le idee di http://www.quantdec.com/envstats/notes/class_06/properties.htm : momenti grafici.

k = E {(\frac{X - μ}{σ})}^{4} = \int (\frac{x - μ}{σ})^{4} f (x) d x

$\DeclareMathOperator{\E}{\mathbb{E}} k = \E \left( \frac{X-\mu}{\sigma} \right)^4 =\int (\frac{x-\mu}{\sigma})^4 f(x) \; dx$

f

$f$

X

$X$

μ, σ^{2}

$\mu, \sigma^2$

x

$x$

k_{e} = k - 3

$k_e=k-3$

Di seguito mostrerò un diagramma di curtosi grafica per alcune distribuzioni simmetriche, tutte centrate su zero e ridimensionate per avere la varianza 1.

Si noti l'assenza virtuale di contributo alla curtosi dal centro, dimostrando che la curtosi non ha molto a che fare con il "picco".

— kjetil b halvorsen
fonte

1

Z^{2}

$Z^2$

- b

$-b$

+ b

$+b$

b

$b$