Cosa rende indefinita la media di alcune distribuzioni?

21

Molti PDF vanno da meno a infinito positivo, ma alcuni mezzi sono definiti e altri no. Quale tratto comune rende alcuni calcolabili?

distributions mean

— Kevin Nowaczyk
fonte

14

Integrali convergenti.

— Sycorax dice Reinstate Monica il

1

Queste distribuzioni sono astrazioni matematiche. Se l'integrale non converge, la media non è definita. Tuttavia, ciò che non è menzionato nelle risposte di seguito è che i PDF con meno infinito a più infinito non possono modellare origini dati reali. Non esiste un processo fisico per generare tali dati nella vita reale. Secondo me tutte le fonti di dati reali saranno limitate e sarete in grado di approssimare la media.

— Cagdas Ozgenc,

3

@Cagdas Quell'osservazione non sembra essere corretta. Ci sono molti processi dalla coda pesante. Le loro aspettative divergenti si manifestano come estrema variabilità nelle medie di lungo periodo. Per un'applicazione convincente di un modello di Cauchy, ad esempio, vedi il post di Douglas Zare su stats.stackexchange.com/a/36037/919 .

— whuber

2

@CagdasOzgenc: dovresti leggere Black Swan di Taleb per vedere quanto sia sbagliato quel ragionamento. Mentre euristicamente potrebbe non esserci un processo che generi perfettamente una distribuzione con una media indefinita o una media infinita, ci sono molti esempi in cui le persone sottovalutano quanto grasso sono le code della loro distribuzione e procedono a calcolare i mezzi, mentre la vera distribuzione ha un significa che è completamente diverso e di solito inclinato a destra. Questo tipo di ragionamento improprio ha portato a molte lacune nella valutazione del rischio in ambito finanziario in cui il rischio è sottovalutato da molti ordini di grandezza.

— Alex R.

1

@Cagdas Ozgenc: Per una discussione sul perché la tua tesi è sbagliata, vedi stats.stackexchange.com/questions/94402/…

— kjetil b halvorsen

23

La media di una distribuzione è definita in termini di un integrale (lo scriverò come per una distribuzione continua - come un integrale di Riemann, diciamo - ma il problema si applica più in generale; possiamo procedere all'integrazione di Stieltjes o Lebesgue per occuparci di questi correttamente e tutti in una volta):

E (X) = \int_{- \infty}^{\infty} X f (X) d X

$E(X) = \int_{-\infty}^\infty x f(x)\, dx$

Ma cosa significa? È effettivamente una scorciatoia per

\overset{lim}{_{un' \to \infty, B \to \infty}} \int_{- un'}^{B} X f (X) d X

$\stackrel{\lim}{_{a\to\infty,b\to\infty}} \int_{-a}^b x\, f(x)\, dx$

o

\overset{lim}{_{un' \to \infty}} \int_{- un'}^{0} X f (X) d X + \overset{lim}{_{B \to \infty}} \int_{0}^{B} X f (X) d X

$\stackrel{\lim}{_{a\to\infty}} \int_{-a}^0 x f(x)\, dx \, +\, \stackrel{\lim}{_{b\to\infty}} \int_{0}^b x f(x)\, dx$

(anche se potresti romperlo ovunque non solo a 0)

Il problema sorge quando i limiti di quegli integrali non sono finiti.

Quindi, ad esempio, considera la densità standard di Cauchy, che è proporzionale a ... nota che $\frac{1}{1+x^2}$

\overset{lim}{_{B \to \infty}} \int_{0}^{B} \frac{X}{1 + X^{2}} d X

$\stackrel{\lim}{_{b\to\infty}} \int_{0}^b \frac{x}{1+x^2}\, dx$

lascia , quindi $u=1+x^2$ $du=2x\,dx$

= \overset{lim}{_{B \to \infty}} \frac{1}{2} \int_{1}^{1 + B^{2}} \frac{1}{u} d u

$=\,\stackrel{\lim}{_{b\to\infty}}\frac12 \int_{1}^{1+b^2} \frac{1}{u}\, du$

= \overset{lim}{_{B \to \infty}} \frac{_{1}}{^{2}} \ln (u) |_{1}^{1 + B^{2}}

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(u)\Bigg |_{1}^{1+b^2}$

= \overset{lim}{_{B \to \infty}} \frac{_{1}}{^{2}} \ln (1 + B^{2})

$=\,\stackrel{\lim}{_{b\to\infty}} \frac{_1}{^2}\ln(1+b^2)$

che non è finito. Anche il limite nella metà inferiore non è finito; l'attesa non è quindi definita.

O se avessimo come variabile casuale il valore assoluto di un Cauchy standard, la sua intera aspettativa sarebbe proporzionale a quel limite che abbiamo appena esaminato (cioè ). $\stackrel{\lim}{_{b\to\infty}} \frac12\ln(1+b^2)$

D'altra parte, alcune altre densità continuano "all'infinito" ma il loro integrale ha un limite.

— Glen_b - Ripristina Monica
fonte

1

Puoi (ovviamente) vedere la stessa cosa anche in distribuzioni di probabilità discrete simili. Prendi una distribuzione in cui la probabilità se verifichi, per l'intero , è proporzionale a . La somma delle probabilità è finita (il che è altrettanto buono poiché deve avere il limite 1: in realtà la nostra costante deve essere o qualunque cosa sia), ma poiché la somma di diverge non ha alcun significato. Considerando che se scegliamo una probabilità proporzionale a la media implica una somma di e stiamo bene, è "abbastanza piccolo" da convergere.

n

$n$

n > 0

$n>0$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

\frac{1}{n}

$\frac{1}{n}$

\frac{1}{n^{3}}

$\frac{1}{n^3}$

\frac{1}{n^{2}}

$\frac{1}{n^2}$

— Steve Jessop

1

Sì, è la costante di ridimensionamento (per farla sommare a1).

\frac{6}{π^{2}}

$\frac{6}{\pi^2}$

— Glen_b -Restate Monica

8

Le altre risposte sono buone, ma potrebbero non convincere tutti, specialmente le persone che danno un'occhiata alla distribuzione di Cauchy (con ) e dicono che è ancora intuitivamente ovvio che la media dovrebbe essere zero. $x_0 = 0$

Il motivo per cui la risposta intuitiva non è corretta dal punto di vista matematico è dovuto al teorema di riarrangiamento di Riemann (video) .

In effetti quello che stai facendo quando guardi un Cauchy e dici che la media "dovrebbe essere zero" è che stai dividendo il "centro" a zero, e quindi rivendicando i momenti del bilanciamento delle due dimensioni. O in altre parole, stai implicitamente facendo una somma infinita con "metà" i termini positivi (i momenti in ogni punto a destra) e "metà" i termini negativi (i momenti in ogni punto a sinistra) e rivendicandoli somma a zero. (Per gli esperti tecnici: ) $\int_{0}^\infty f(x_0+r)r\, dr - \int_{0}^{\infty} f(x_0-r)r\, dr = 0$

Il teorema di riarrangiamento di Riemann afferma che questo tipo di somma infinita (una con entrambi i termini positivo e negativo) è coerente solo se le due serie (solo termini positivi e solo termini negativi) sono convergenti se prese indipendentemente. Se entrambe le parti (positive e negative) sono divergenti da sole, allora puoi trovare un ordine di somma dei termini in modo tale che si sommi a qualsiasi numero. (Video sopra, a partire dalle 6:50)

Quindi, sì, se esegui la somma in modo equilibrato da 0 in poi, i primi momenti della distribuzione di Cauchy si annullano. Tuttavia, la definizione (standard) di media non impone questo ordine di somma. Dovresti essere in grado di sommare i momenti in qualsiasi ordine e renderlo ugualmente valido. Pertanto, la media della distribuzione di Cauchy non è definita: scegliendo giudiziosamente come sommare i momenti, è possibile farli "bilanciare" (o meno) praticamente in qualsiasi punto.

Quindi, per definire la media di una distribuzione, i due momenti integrali devono essere ciascuno convergente (finito) in modo indipendente attorno alla media proposta (che, quando si fa la matematica, è davvero solo un altro modo di dire che l'integrale completo ( ) deve essere convergente). Se le code sono abbastanza "grasse" per rendere infinito il momento per un lato, il gioco è fatto. Non puoi bilanciarlo con un momento infinito dall'altra parte. $\int_{-\infty}^\infty f(x)x\, dx$

Devo dire che il comportamento "controintuitivo" di cose come la distribuzione di Cauchy è interamente dovuto a problemi quando si pensa all'infinito. Prendi la distribuzione di Cauchy e taglia le code - anche arbitrariamente lontano, come a più / meno il numero xkcd - e (una volta ri-normalizzato) improvvisamente ottieni qualcosa che si comporta bene e ha una media definita. Non sono le code grasse di per sé che sono un problema, è come si comportano quelle code quando ti avvicini all'infinito.

— RM
fonte

Bello. Mi chiedo se sia possibile dare un "ordine di sommatoria" esplicito che porta, diciamo, a due.

— Matthew Drury,

@MatthewDrury: p_i e n_i indicano numeri positivi e negativi. Trova successivamente p_i e n_i in modo che integrale su [n_i, p_i] sia 2+ (1 / i) e integrale su [n_ {i + 1}, p_i] sia 2- (1 / i). Si potrebbe farlo esplicitamente usando R, matlab o matematica, ma solo per un numero finito di termini.

— David Epstein,

7

Il generale Abrial e Glen_b avevano risposte perfette. Voglio solo aggiungere una piccola demo per mostrare che la media della distribuzione di Cauchy non esiste / non converge.

Nel seguente esperimento, vedrai, anche se ottieni un campione di grandi dimensioni e calcoli la media empirica dal campione, i numeri sono abbastanza diversi da esperimento a esperimento.

set.seed(0)
par(mfrow=c(1,2))
experiments=rep(1e5,100)
mean_list_cauchy=sapply(experiments, function(n) mean(rcauchy(n)))
mean_list_normal=sapply(experiments, function(n) mean(rnorm(n)))
plot(mean_list_cauchy,ylim=c(-10,10))
plot(mean_list_normal,ylim=c(-10,10))

Puoi osservare che abbiamo esperimenti e in ogni esperimento, campioniamo punti da due distribuzioni, con una dimensione del campione così grande, la media empirica attraverso esperimenti diversi dovrebbe essere abbastanza vicina alla media vera. I risultati mostrano che la distribuzione di Cauchy non ha una media convergente, ma la distribuzione normale ha. $100$ $1\times 10^5$

MODIFICARE:

Come @ mark999 menzionato nella chat, dovremmo sostenere che le due distribuzioni utilizzate nell'esperimento hanno una "varianza" simile (il motivo per cui uso la citazione è perché anche la varianza della distribuzione di Cauchy non è definita). Ecco la giustificazione: i loro PDF sono simili.

Si noti che, guardando il PDF della distribuzione di Cauchy, indoviniamo che è , ma dagli esperimenti che possiamo vedere, non esiste. Questo è il punto della demo. $0$

curve(dnorm, -8,8)
curve(dcauchy, -8,8)

— Haitao Du
fonte

4

Non credo che ciò dimostri che la distribuzione di Cauchy non abbia alcun mezzo. Si potrebbero ottenere risultati simili se si sostituisse la distribuzione di Cauchy con una distribuzione normale con una varianza adeguatamente grande.

— mark999,

buon punto @ mark999, modificherò la mia risposta per risolvere questo problema.

— Haitao Du,

È possibile capire dal PDF della distribuzione di Cauchy che non ha alcun significato, probabilmente guardando la sua coda grassa?

— ks1322,

Forse avevi in mente qualcosa del genere? stats.stackexchange.com/questions/90531/…

— Sycorax dice

2

Per definizione di integrale di Lebesgue-Stieltjes, la media esiste se:

\int | x | d F (x) < \infty .

$\int \vert x\vert dF(x)<\infty.$

https://en.wikipedia.org/wiki/Moment_(mathematics)#Significance_of_the_moments

https://en.wikipedia.org/wiki/Lebesgue_integration

— ovest
fonte

2

La distribuzione di Cauchy è una forma mascherata di una distribuzione molto fondamentale, vale a dire la distribuzione uniforme su un cerchio. Nelle formule, la probabilità infinitesimale è , dove è la coordinata dell'angolo. La probabilità (o misura) di un arco è . Questo è diverso dalla distribuzione uniforme , sebbene le misure siano effettivamente le stesse per gli archi che non contengono . Ad esempio, sull'arco da in senso antiorario a , la media della distribuzione sul cerchio è $d\theta/2\pi$ $\theta$ $A\subset \mathbb S^1$ $\mathtt{length}(A)/2\pi$ $U(-\pi,\pi)$ $\pi$ $\pi-\varepsilon$ $-\pi+\varepsilon\ (=\pi+\varepsilon \mod 2\pi)$ $\pi$ . Ma la media della distribuzione uniforme sull'unione corrispondente di due intervalli disgiunti, ciascuno di lunghezza , è zero. $U(-\pi,\pi)$ $\varepsilon/2\pi$

Poiché la distribuzione sul cerchio è simmetrica in senso rotazionale, non può esserci una media, una mediana o una modalità sul cerchio. Allo stesso modo, i momenti più alti, come la varianza, non possono avere senso. Questa distribuzione nasce naturalmente in molti contesti. Ad esempio, il mio progetto attuale prevede immagini al microscopio di tessuto canceroso. I moltissimi oggetti nell'immagine non sono simmetrici e una "direzione" può essere assegnata a ciascuno. L'ovvia ipotesi nulla è che queste direzioni siano distribuite uniformemente.

Per mascherare la semplicità, sia il cerchio unitario standard e sia . Definiamo come funzione di mediante proiezione stereografica del cerchio da sull'asse . La formula è . Differenziando, troviamo . La probabilità infinitesimale è quindi , la solita forma della distribuzione di Cauchy, e "Hey, presto!", La semplicità diventa un mal di testa, che richiede un trattamento da parte delle sottigliezze della teoria dell'integrazione. $\mathbb S^1$ $p=(0,1)\in\mathbb S^1$ $x$ $\theta$ $p$ $x$ $x=\tan(\theta/2)$ $d\theta/2 = dx/(1+x^2)$ $\frac{d\theta}{\pi(1+x^2)}$

In , possiamo ignorare l'assenza di (in altre parole, ripristinare ) per qualsiasi considerazione come la media o il momento dell'ordine superiore, perché la probabilità di (la sua misura) è zero. Quindi, quindi, la non esistenza di momenti medi e superiori si estende alla linea reale. Tuttavia, ora esiste un punto speciale, vale a dire , che mappa a sotto proiezione stereografica e questo diventa la mediana e la modalità della distribuzione di Cauchy. $\mathbb S^1 \setminus \{p\}$ $p$ $p\in\mathbb S^1$ $p$ $-p = (0,-1)$ $0\in\mathbb R$

— David Epstein
fonte

2

La distribuzione di Cauchy ha una mediana e una modalità.

— jkabrg,

giusto. Mi sono lasciato trasportare un po '. Ma l'argomento per la non esistenza della media è corretto .. Modificherò la mia risposta.

— David Epstein,

Perché "non può esserci un mezzo perché non ce n'è uno nel cerchio"? C'è molto che manca nella tua discussione. Suppongo che cosa intendi per essere la distribuzione uniforme "sul cerchio" è che e , ma poi quindi non capisco di cosa stai parlando.

θ \sim U (- π, π)

$\theta \sim U(-\pi,\pi)$

X = \tan (θ / 2)

$X = \tan(\theta/2)$

E [θ] = 0

$\mathbb E[\theta] = 0$

— jkabrg,

@jkabrg: spero che le nuove modifiche rendano questo più comprensibile

— David Epstein,