Come posso dimostrare analiticamente che la divisione casuale di un importo si traduce in una distribuzione esponenziale (ad esempio reddito e ricchezza)?

In questo attuale articolo di SCIENCE viene proposto quanto segue:

Supponiamo di dividere casualmente 500 milioni di entrate tra 10.000 persone. C'è solo un modo per dare a tutti una quota pari a 50.000. Quindi, se stai distribuendo i guadagni in modo casuale, l'uguaglianza è estremamente improbabile. Ma ci sono innumerevoli modi per dare ad alcune persone un sacco di soldi e molte persone poco o niente. In effetti, dati tutti i modi in cui è possibile dividere il reddito, la maggior parte di essi produce una distribuzione esponenziale del reddito.

L'ho fatto con il seguente codice R che sembra confermare il risultato:

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45, xlim = c(0, quantile(d, 0.99)))

fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", pch=16, add = TRUE)

La mia domanda
Come posso dimostrare analiticamente che la distribuzione risultante è davvero esponenziale?

Addendum
Grazie per le risposte e i commenti. Ho pensato al problema e ho escogitato il seguente ragionamento intuitivo. Fondamentalmente accade quanto segue (Attenzione: semplificazione eccessiva in avanti): si va avanti lungo la quantità e si lancia una moneta (di parte). Ogni volta che ottieni ad esempio teste dividi l'importo. Distribuisci le partizioni risultanti. Nel caso discreto il lancio della moneta segue una distribuzione binomiale, le partizioni sono distribuite geometricamente. Gli analoghi continui sono rispettivamente la distribuzione di Poisson e la distribuzione esponenziale! (Con lo stesso ragionamento diventa anche intuitivamente chiaro il motivo per cui la distribuzione geometrica ed esponenziale hanno la proprietà della mancanza di memoria - perché neanche la moneta ha una memoria).

Per semplificare il problema, consideriamo il caso in cui i valori consentiti della condivisione di ogni persona sono discreti, ad esempio numeri interi. Allo stesso modo, si può anche immaginare di dividere l '"asse del reddito" in intervalli equidistanti e approssimare tutti i valori che cadono in un dato intervallo dal punto medio.

Indicando il reddito totale come , il valore -th consentito come , il numero totale di persone come e infine il numero di persone con quote di come , le seguenti condizioni dovrebbe essere soddisfatto: e s x $X$$s$$x_{s}$x s n s C 1 ( { n s } ) ≡ ∑ s n s - N = 0 , C 2 ( { n s } ) ≡ ∑ s n s x s - X = $N$$x_{s}$$n_{s}$

$$\begin{equation} C_{1} (\{n_{s}\})\equiv\sum_{s} n_{s} - N = 0, \end{equation}$$ $$\begin{equation} C_{2} (\{n_{s}\})\equiv \sum_{s} n_{s} x_{s} - X = 0. \end{equation}$$

Si noti che molti modi diversi per dividere la condivisione possono rappresentare la stessa distribuzione. Ad esempio, se considerassimo di dividere $ 4 tra due persone, dare $ 3 ad Alice e $ 1 a Bob e viceversa darebbero entrambe distribuzioni identiche. Poiché la divisione è casuale, la distribuzione con il numero massimo di modi corrispondenti per dividere la condivisione ha le migliori possibilità di verificarsi.

Per ottenere tale distribuzione, è necessario massimizzare sotto i due vincoli indicati sopra. Il metodo dei moltiplicatori di Lagrange è un approccio canonico per questo. Inoltre, si può scegliere di lavorare con invece che con stesso, poiché " " è una funzione crescente monotona. Cioè, dove sono moltiplicatori di Lagrange. Si noti che secondo la formula di Stirling , LnWWln∂ln

$$\begin{equation} W(\{n_{s}\}) \equiv \frac{N!}{\prod_{s} n_{s}!}, \end{equation}$$ $\ln W$$W$$\ln$λ1,2lnn! ≈nlnn-n,ns≈exp(-λ1-λ2xs) $$\begin{equation} \frac{\partial \ln W}{\partial n_{s}} = \lambda_{1} \frac{\partial C_{1}}{\partial n_{s}} + \lambda_{2} \frac{\partial C_{1}}{\partial n_{s}} = \lambda_{1} + \lambda_{2} x_{s}, \end{equation}$$ $\lambda_{1,2}$ $$\begin{equation} \ln n! \approx n\ln n - n, \end{equation}$$ porta a Pertanto, Segue quindi che è una distribuzione esponenziale. Si possono ottenere i valori dei moltiplicatori di Lagrange usando i vincoli. Dal primo vincolo, ∂ln $$\begin{equation} \frac{d\ln n!}{dn} \approx \ln n. \end{equation}$$ $$\begin{equation} \frac{\partial \ln W}{\partial n_{s}} \approx -\ln n_{s}. \end{equation}$$ $$\begin{equation} n_{s} \approx \exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big), \end{equation}$$ $$\begin{equation} \begin{split} N &= \sum_{s} n_{s} \approx \sum_{s} \exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big)\\ &\approx \frac{1}{\Delta x} \int_{0}^{\infty} \exp\big(-\lambda_{1} - \lambda_{2} x\big) \,\,dx\\ &=\frac{1}{\lambda_{2}\Delta x}\exp\big(-\lambda_{1}\big), \end{split} \end{equation}$$ dove è la spaziatura tra i valori consentiti. Allo stesso modo, Pertanto, abbiamo $\Delta x$ $$\begin{equation} \begin{split} X &= \sum_{s} n_{s}x_{s} \approx \sum_{s} x_{s}\,\exp\big(-\lambda_{1} - \lambda_{2} x_{s}\big)\\ &\approx \frac{1}{\Delta x} \int_{0}^{\infty} x\,\exp\big(-\lambda_{1} - \lambda_{2} x\big) \,\,dx\\ &=\frac{1}{\lambda_{2}^{2}\,\Delta x}\exp\big(-\lambda_{1}\big). \end{split} \end{equation}$$ $$\begin{equation} \exp\big(-\lambda_{1}\big) = \frac{N^{2} \Delta x}{X}, \end{equation}$$ e Che questo sia davvero un massimo, piuttosto che un minimo o un punto di sella, può essere visto dall'assia di . Poiché sono lineari in , è uguale a quello di : e $$\begin{equation} \lambda_{2} = \frac{N}{X}. \end{equation}$$ $\ln W - \lambda_{1} C_{1} - \lambda_{2} C_{2}$$C_{1,2}$$n_{s}$$\ln W$ $$\begin{equation} \frac{\partial^{2} \ln W}{\partial n_{s}^{2}} = -\frac{1}{n_{s}} < 0, \end{equation}$$ $$\begin{equation} \frac{\partial^{2} \ln W}{\partial n_{s}\partial n_{r}} = 0 \quad (s\neq r). \end{equation}$$ Quindi l'Assia è concava e ciò che abbiamo trovato è davvero un massimo.

La funzione è in realtà la distribuzione delle distribuzioni. Per le distribuzioni in genere osserviamo di essere vicine a quella più probabile, dovrebbe essere abbastanza stretto. Dall'Assia si vede che questa condizione è pari a . (È anche la condizione che la formula di Stirling sia affidabile.) Pertanto, per vedere effettivamente la distribuzione esponenziale, le partizioni nell'asse del reddito (corrispondenti ai bin nell'istogramma di OP) dovrebbero essere abbastanza larghe in modo che il numero di persone in una partizione sia molto maggiore di unità. Verso la coda, dove tende a zero, questa condizione è sempre destinata a fallire.$W(\{n_{s}\})$$W(\{n_{s}\})$$n_{s}\gg 1$$n_{s}$

Nota: questo è esattamente il modo in cui i fisici comprendono la distribuzione di Boltzmann nella meccanica statistica. La distribuzione esponenziale è essenzialmente esatta per questo caso, poiché consideriamo .$N\sim 10^{23}$

In effetti puoi provare che in realtà non è esponenziale, quasi banalmente:

Calcola la probabilità che una determinata quota sia superiore a milioni. Confronta con la probabilità che una variabile casuale esponenziale sia maggiore di milioni.$500$$500$

Tuttavia, non è troppo difficile vederlo per il tuo esempio di divario uniforme che dovrebbe essere vicino all'esponenziale.

Considera un processo di Poisson - in cui gli eventi si verificano casualmente lungo una certa dimensione. Il numero di eventi per unità dell'intervallo ha una distribuzione di Poisson e il divario tra gli eventi è esponenziale.

Se si prende un intervallo fisso, gli eventi in un processo di Poisson che rientrano in esso vengono distribuiti uniformemente nell'intervallo. Vedi qui .

[Tuttavia, nota che poiché l'intervallo è finito, semplicemente non puoi osservare spazi più grandi della lunghezza dell'intervallo e è improbabile che spazi quasi così grandi (considera, ad esempio, in un intervallo di unità - se vedi spazi di 0,04 e 0,01, il prossimo gap che vedi non può essere maggiore di 0,95).]

Quindi, a parte l'effetto di limitare l'attenzione a un intervallo fisso sulla distribuzione degli spazi (che ridurrà per grande , il numero di punti nell'intervallo), ti aspetteresti che questi spazi vengano distribuiti esponenzialmente.$n$

Ora nel tuo codice, stai dividendo l'intervallo di unità posizionando le uniformi e quindi trovando le lacune nelle successive statistiche degli ordini. Qui l'intervallo unitario non è tempo o spazio ma rappresenta una dimensione del denaro (immagina il denaro come 50000 milioni di centesimi disposti da un capo all'altro e chiama la distanza che coprono l'intervallo unitario; tranne qui possiamo avere frazioni di un centesimo); stabiliamo segni e questo divide l'intervallo in "condivisioni". A causa della connessione tra il processo di Poisson e punti uniformi in un intervallo, le lacune nelle statistiche dell'ordine di un'uniforme tenderanno ad apparire esponenziali, purché non sia troppo piccolo.$n$$n+1$$n$

Più specificamente, qualsiasi gap che inizia nell'intervallo posto sopra il processo di Poisson ha la possibilità di essere "censurato" (in effetti, ridotto più corto di quanto sarebbe altrimenti) correndo verso la fine dell'intervallo.

$\hspace{1cm}$

Gli spazi più lunghi hanno maggiori probabilità di farlo rispetto a quelli più corti e più spazi nell'intervallo significano che la lunghezza media degli spazi deve scendere - più spazi brevi. Questa tendenza ad essere "tagliata" tenderà ad influenzare la distribuzione degli spazi più lunghi rispetto a quelli corti (e non c'è alcuna possibilità che uno spazio limitato all'intervallo superi la lunghezza dell'intervallo, quindi la distribuzione delle dimensioni dello spazio dovrebbe diminuire senza intoppi a zero alla dimensione dell'intero intervallo).

Nel diagramma, un intervallo lungo alla fine è stato ridotto e un intervallo relativamente breve all'inizio è anche più breve. Questi effetti ci allontanano dall'esponenzialità.

(La distribuzione effettiva degli spazi vuoti tra statistiche di ordine uniforme è Beta (1, n).)$n$

Quindi dovremmo vedere la distribuzione in grande apparire esponenziale nei valori piccoli e quindi meno esponenziale in valori più grandi, poiché la densità ai suoi valori più grandi diminuirà più rapidamente.$n$

Ecco una simulazione della distribuzione delle lacune per n = 2:

Non molto esponenziale.

Ma per n = 20, inizia a sembrare piuttosto vicino; infatti man mano che cresce, sarà ben approssimato da un esponenziale con media .$n$$\frac{1}{n+1}$

Se quello fosse effettivamente esponenziale con la media 1/21, allora sarebbe uniforme ... ma possiamo vedere che non lo è, piuttosto:$\exp(-21x)$

La non uniformità nei valori bassi corrisponde a grandi valori delle lacune - che ci aspetteremmo dalla discussione sopra, perché l'effetto del "tagliare" il processo di Poisson a un intervallo finito significa che non vediamo le maggiori lacune. Ma man mano che prendi sempre più valori, questo si spinge oltre nella coda, e quindi il risultato inizia a sembrare più uniforme. A , la visualizzazione equivalente sarebbe più difficile da distinguere dall'uniforme - i divari (che rappresentano le quote del denaro) dovrebbero essere molto vicini alla distribuzione esponenziale tranne che ai valori molto improbabili, molto molto grandi.$n=10000$

Supponiamo che il denaro sia infinitamente divisibile in modo da poter trattare con numeri reali piuttosto che numeri interi.

Quindi la distribuzione uniforme di partizionata su individui darà una densità marginale per ogni individuo per e una probabilità cumulativa marginale per ogni individuo di$t=500000000$$n=10000$

$$p(x)=\frac{n-1}{t}\left(1-\frac{x}{t}\right)^{n-2}$$ $0 \le x \le t$ $$P(X \le x)=1 - \left(1-\frac{x}{t}\right)^{n-1}.$$

Se si desidera applicare questo, utilizzare la distribuzione marginale per allocare una quantità casuale a una qualsiasi delle persone, quindi ridurre a e a e ripetere. Si noti che quando , questo darebbe a ciascun individuo una distribuzione marginale uniforme sull'importo rimanente, proprio come ci si potrebbe aspettare; quando tutti i soldi rimanenti alla singola persona rimasta.$X$$t$$t-X$$n$$n-1$$n=2$$n=1$

Queste espressioni sono polinomiali piuttosto che esponenziali, ma per grandi probabilmente troverai difficile distinguere i loro effetti da una distribuzione esponenziale con un parametro vicino a . La distribuzione è esponenziale asintoticamente perché come . $n$$\frac{n}{t}$$\left(1-\frac{y}{m}\right)^{m} \to \exp(-y)$$m \to \infty$

Dire "supponi di dividere casualmente 500 milioni di entrate tra 10.000 persone" non è sufficientemente specifico per rispondere alla domanda. Esistono molti processi casuali diversi che potrebbero essere utilizzati per allocare un importo fisso di denaro a un numero fisso di persone e ognuno avrà le proprie caratteristiche per la distribuzione risultante. Qui ci sono tre processi generativi che mi vengono in mente e le distribuzioni di ricchezza che ognuna crea.

library(MASS)

w <- 500000000 #wealth
p <- 10000 #people

Metodo 1, pubblicato da OP:

Scegli i numeri 'p' da [0, w) uniformemente a caso. Ordina questi. Aggiungi '0' in primo piano. Distribuire gli importi in dollari rappresentati dalle differenze tra gli elementi successivi in ​​questo elenco.

d <- diff(c(0,sort(runif(p-1,max=w)),w)) #wealth-distribution
h <- hist(d, col="red", main="Exponential decline", freq = FALSE, breaks = 45,
     xlim = c(0, quantile(d, 0.99)))
fit <- fitdistr(d,"exponential")
curve(dexp(x, rate = fit$estimate), col = "black", type="p", 
      pch=16, add = TRUE)

Metodo 2:

Scegli i numeri 'p' da [0, w) uniformemente a caso. Considera questi "pesi", quindi "w" non ha importanza in questa fase. Normalizza i pesi. Distribuire gli importi in dollari rappresentati dalla frazione di 'w' corrispondente a ciascun peso.

d <- runif(p,max=w) #weigh-distribution
d <- d/sum(d)*w #wealth-distribution
h <- hist(d, col="red", main="pretty uniform", freq = FALSE, breaks = 45, 
          xlim = c(0, quantile(d, 0.99)))

Metodo 3:

Inizia con 'p' 0s. w volte, aggiungi 1 a uno di essi, selezionato in modo uniforme a caso.

d <- rep(0, p)
for( i in 1:5000000){ ## for-loops in R are terrible, but this gives the idea.
    k <- floor(runif(1, max=p)) + 1    
    d[k] = (d[k] + 1)
}
h <- hist(d, col="red", main="kinda normalish?", freq = FALSE, breaks = 45,
          xlim = c(0, quantile(d, 0.99)))

Vorrei aggiungere qualcosa per quanto riguarda il tuo addendum.

$$\begin{equation} p(x) = \frac{N-1}{X}\left(1-\frac{x}{X}\right)^{N-2}, \end{equation}$$ $N$$X$

$M$$m$

$$\begin{equation} p(m) = \frac{N-1}{M+1}\prod_{j=0}^{N-3}\left(1-\frac{m}{M-j}\right)^{N-2}. \end{equation}$$ $M\gg N$$N$

$N$

Tuttavia, l'esecuzione dell'analisi degli errori non sembra essere semplice poiché in questo caso diversi campionamenti non sono indipendenti. Devono riassumere l'importo totale e quanto la prima persona riceve influisce sulla distribuzione delle probabilità per la seconda persona e così via.

La mia risposta precedente non soffre di questo problema, ma penso che sarebbe utile vedere come può essere risolto in questo approccio.

Buona analisi teorica fatta dalle risposte votate. Tuttavia, ecco la mia semplice visione empirica sul perché la distribuzione è esponenziale.

Quando distribuisci i soldi in modo casuale , consideriamo di farlo uno per uno. Sia S la somma originale.

Per il primo uomo, devi scegliere un importo casuale tra 0 e S. Quindi, in media, sceglierai S / 2 e rimarrai con S / 2.

Per il secondo uomo, sceglieresti casualmente tra 0 e, in media, S / 2. Quindi, in media, sceglierai S / 4 e rimarrai su S / 4.

Quindi, fondamentalmente si dividerebbe la somma a metà ogni volta (statisticamente parlando).

Sebbene in un esempio di vita reale non avrai valori dimezzati continuamente, questo mostra perché ci si dovrebbe aspettare che la distribuzione sia esponenziale.