Distribuzione del più grande frammento di un bastone rotto (spaziature)

Lascia che un bastoncino di lunghezza 1 sia rotto in frammenti uniformemente a caso. Qual è la distribuzione della lunghezza del frammento più lungo? $k+1$

Più formalmente, let sia IID e let siano le statistiche dell'ordine associate, ovvero ordiniamo semplicemente l'esempio in modo tale che . Lascia che . $(U_1, \ldots U_k)$ $U(0,1)$ $(U_{(1)}, \ldots, U_{(k)})$ $U_{(1)} \leq U_{(2)} \leq, \ldots , \leq U_{(k)}$ $Z_k = \max \left(U_{(1)}, U_{(2)}-U_{(1)}, \ldots, U_{(k)} - U_{(k-1)}, 1-U_{(k)}\right)$

Sono interessato alla distribuzione di $Z_k$ . Sono anche interessanti momenti, risultati asintotici o approssimazioni per $k \uparrow \infty$ .

— gui11aume
fonte

Questo è un problema ben studiato; vedi R. Pyke (1965), " Distanze ", JRSS (B) 27 : 3, pp. 395-449. Proverò a tornare per aggiungere alcune informazioni in seguito, a meno che qualcuno non mi picchi. C'è anche un articolo del 1972 dello stesso autore (" Spacings rivisitato ") ma penso che ciò che cerchi sia praticamente tutto nel primo. Ci sono alcuni asintotici in Devroye (1981) , "Le leggi del logaritmo iterato per le statistiche degli ordini delle distanze uniformi" Ann. Probab. , 9 : 5, 860-867.

— Glen_b

Questi dovrebbero anche dare alcuni buoni termini di ricerca per trovare lavoro successivo se ne hai bisogno.

— Glen_b

Questo e spettacolare. Il primo riferimento è difficile da trovare. Per chi fosse interessato, l'ho messo su The Grand Locus .

— gui11aume,

Correggere l'errore di stampa: anziché .

Y_{(k)}

$Y_{(k)}$

U_{(k)}

$U_{(k)}$

— Viktor,

Grazie @Viktor! Per cose così piccole, non esitate a fare la modifica da soli (penso che sarà esaminata da altri utenti per l'approvazione).

— gui11aume,

Con le informazioni fornite da @Glen_b sono riuscito a trovare la risposta. Usando le stesse notazioni della domanda

P (Z_{K} \leq X) = Σ_{j = 0}^{K + 1} (\binom{K + 1}{j}) (- 1)^{j} (1 - j X)_{+}^{K},

$P(Z_k \leq x) = \sum_{j=0}^{k+1} { k+1 \choose j } (-1)^j (1-jx)_+^k,$

dove se e altrimenti. Do anche l'attesa e la convergenza asintotica alla distribuzione di Gumbel ( NB : non Beta) $a_+ = a$ $a > 0$ $0$

E (Z_{K}) = \frac{1}{K + 1} Σ_{io = 1}^{K + 1} \frac{1}{io} ~ \frac{\log (K + 1)}{K + 1}, P (Z_{K} \leq X) ~ \exp (- e^{- (K + 1) X + \log (K + 1)}) .

$E(Z_k)= \frac{1}{k+1}\sum_{i=1}^{k+1}\frac{1}{i} \sim \frac{\log(k+1)}{k+1}, \\ P(Z_k \leq x) \sim \exp\left(- e^{-(k+1)x + \log(k+1)} \right).$

Il materiale delle prove è tratto da diverse pubblicazioni collegate nei riferimenti. Sono piuttosto lunghi, ma semplici.

1. Prova dell'esatta distribuzione

Sia variabili variabili casuali IID nell'intervallo . Ordinandoli, otteniamo le statistiche dell'ordine indicate . Le spaziature uniformi sono definite come , con e . Le spaziature ordinate sono le corrispondenti statistiche ordinate . La variabile di interesse è . $(U_1, \ldots, U_k)$ $(0,1)$ $k$ $(U_{(1)}, \ldots, U_{(k)})$ $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$ $U_{(k+1)} = 1$ $\Delta_{(1)} \leq \ldots \leq \Delta_{(k+1)}$ $\Delta_{(k+1)}$

Per fisso , definiamo la variabile indicatore . Per simmetria, il vettore casuale è scambiabile, quindi la distribuzione congiunta di un sottoinsieme di dimensione è la stessa della distribuzione congiunta di il primo . Espandendo il prodotto, otteniamo così $x \in (0,1)$ $\mathbb{1}_i = \mathbb{1}_{\{\Delta_i > x\}}$ $(\mathbb{1}_1, \ldots, \mathbb{1}_{k+1})$ $j$ $j$

P (Δ_{(k + 1)} \leq x) = E (\prod_{i = 1}^{k + 1} (1 - 1_{i})) = 1 + \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j} E (\prod_{i = 1}^{j} 1_{i}) .

$P(\Delta_{(k+1)} \leq x) = E \left( \prod_{i=1}^{k+1} (1 - \mathbb{1}_i) \right) = 1 + \sum_{j=1}^{k+1} { k+1 \choose j } (-1)^j E \left( \prod_{i=1}^j \mathbb{1}_i \right).$

Dimostreremo ora che , che stabilirà la distribuzione sopra indicata. Lo dimostriamo per , poiché il caso generale è dimostrato in modo simile. $E \left( \prod_{i=1}^j \mathbb{1}_i \right) = (1-jx)_+^k$ $j=2$

E (\prod_{i = 1}^{2} 1_{i}) = P (Δ_{1} > x \cap Δ_{2} > x) = P (Δ_{1} > x) P (Δ_{2} > x | Δ_{1} > x) .

$E \left( \prod_{i=1}^2 \mathbb{1}_i \right) = P(\Delta_1 > x \cap \Delta_2 > x) = P(\Delta_1 > x) P(\Delta_2 > x | \Delta_1 > x).$

Se , i punti di interruzione sono nell'intervallo . In base a questo evento, i punti di interruzione sono ancora scambiabili, quindi la probabilità che la distanza tra il secondo e il primo punto di interruzione sia maggiore di è uguale alla probabilità che la distanza tra il primo punto di interruzione e la barriera sinistra (nella posizione ) è maggiore di . Così $\Delta_1 > x$ $k$ $(x,1)$ $x$ $x$ $x$

P (Δ_{2} > x | Δ_{1} > x) = P (all points are in (2 x, 1) | all points are in (x, 1)), so P (Δ_{2} > x \cap Δ_{1} > x) = P (all points are in (2 x, 1)) = (1 - 2 X)_{+}^{K} .

$P(\Delta_2 > x | \Delta_1 > x) = P\big(\text{all points are in } (2x,1) \big| \text{all points are in } (x,1)\big), \; \text{so} \\ P(\Delta_2 > x \cap \Delta_1 > x) = P\big(\text{all points are in } (2x,1)\big) = (1-2x)_+^k.$

2. Aspettativa

Per le distribuzioni con supporto finito, abbiamo

E (X) = \int P (X > X) d X = 1 - \int P (X \leq X) d X .

$E(X) = \int P(X > x)dx = 1 - \int P(X \leq x)dx.$

Integrando la distribuzione di , otteniamo $\Delta_{(k+1)}$

E (Δ_{(K + 1)}) = \frac{1}{K + 1} Σ_{j = 1}^{K + 1} (\binom{K + 1}{j}) \frac{(- 1)^{j + 1}}{j} = \frac{1}{K + 1} Σ_{j = 1}^{K + 1} \frac{1}{j} .

$E\left(\Delta_{(k+1)}\right) = \frac{1}{k+1}\sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j} = \frac{1}{k+1}\sum_{j=1}^{k+1}\frac{1}{j}.$

L'ultima uguaglianza è una rappresentazione classica dei numeri armonici , che dimostriamo di seguito. $H_i = 1+ \frac{1}{2}+ \ldots + \frac{1}{i}$

H_{k + 1} = \int_{0}^{1} 1 + x + \dots + x^{k} d x = \int_{0}^{1} \frac{1 - x^{k + 1}}{1 - x} d x .

$H_{k+1} = \int_0^1 1 + x + \ldots + x^k dx = \int_0^1 \frac{1-x^{k+1}}{1-x}dx.$

Con il cambio della variabile e l'espansione del prodotto, otteniamo $u = 1-x$

H_{k + 1} = \int_{0}^{1} \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) (- 1)^{j + 1} u^{j - 1} d u = \sum_{j = 1}^{k + 1} (\binom{k + 1}{j}) \frac{(- 1)^{j + 1}}{j} .

$H_{k+1} = \int_0^1\sum_{j=1}^{k+1}{ k+1 \choose j }(-1)^{j+1}u^{j-1}du = \sum_{j=1}^{k+1}{k+1 \choose j}\frac{(-1)^{j+1}}{j}.$

3. Costruzione alternativa di spaziature uniformi

Per ottenere la distribuzione asintotica del frammento più grande, dovremo esibire una costruzione classica di spaziature uniformi come variabili esponenziali divise per la loro somma. La densità di probabilità delle statistiche dell'ordine associate è $(U_{(1)}, \ldots, U_{(k)})$

f_{U_{(1)}, \dots U_{(k)}} (u_{(1)}, \dots, u_{(k)}) = k!, 0 \leq u_{(1)} \leq \dots \leq u_{(k + 1)} .

$f_{U_{(1)}, \ldots U_{(k)}}(u_{(1)}, \ldots, u_{(k)}) = k!, \; 0 \leq u_{(1)} \leq \ldots \leq u_{(k+1)}.$

Se denotiamo le spaziature uniformi , con , otteniamo $\Delta_i = U_{(i)} - U_{(i-1)}$ $U_{(0)} = 0$

f_{Δ_{1}, \dots Δ_{k}} (δ_{1}, \dots, δ_{k}) = k!, 0 \leq δ_{i} + \dots + δ_{k} \leq 1.

$f_{\Delta_1, \ldots \Delta_k}(\delta_1, \ldots, \delta_k) = k!, \; 0 \leq \delta_i + \ldots + \delta_k \leq 1.$

Definendo , otteniamo così $U_{(k+1)} = 1$

f_{Δ_{1}, \dots Δ_{k + 1}} (δ_{1}, \dots, δ_{k + 1}) = k!, δ_{1} + \dots + δ_{k} = 1.

$f_{\Delta_1, \ldots \Delta_{k+1}}(\delta_1, \ldots, \delta_{k+1}) = k!, \; \delta_1 + \ldots + \delta_k = 1.$

Ora, supponiamo che siano variabili casuali esponenziali IID con media 1 e che . Con un semplice cambio di variabile, possiamo vederlo $(X_1, \ldots, X_{k+1})$ $S = X_1 + \ldots + X_{k+1}$

f_{X_{1}, \dots X_{k}, S} (x_{1}, \dots, x_{k}, s) = e^{- s} .

$f_{X_1, \ldots X_k, S}(x_1, \ldots, x_k, s) = e^{-s}.$

Definire , in modo tale da ottenere una variazione della variabile $Y_i = X_i/S$

f_{Y_{1}, \dots Y_{k}, S} (y_{1}, \dots, y_{k}, s) = s^{k} e^{- s} .

$f_{Y_1, \ldots Y_k, S}(y_1, \ldots, y_k, s) = s^k e^{-s}.$

Integrando questa densità rispetto a , otteniamo così $s$

f_{Y_{1}, \dots Y_{k},} (y_{1}, \dots, y_{k}) = \int_{0}^{\infty} s^{k} e^{- s} d s = k!, 0 \leq y_{i} + \dots + y_{k} \leq 1, and thus f_{Y_{1}, \dots Y_{k + 1},} (y_{1}, \dots, y_{k + 1}) = k!, y_{1} + \dots + y_{k + 1} = 1.

$f_{Y_1, \ldots Y_k,}(y_1, \ldots, y_k) = \int_0^{\infty}s^k e^{-s}ds = k!, \; 0 \leq y_i + \ldots + y_k \leq 1, \; \text{and thus} \\ f_{Y_1, \ldots Y_{k+1},}(y_1, \ldots, y_{k+1}) = k!, \; y_1 + \ldots + y_{k+1} = 1.$

Quindi la distribuzione congiunta di spaziature uniformi sull'intervallo è la stessa della distribuzione congiunta di variabili casuali esponenziali divise per la loro somma. Veniamo alla seguente equivalenza di distribuzione $k+1$ $(0,1)$ $k+1$

Δ_{(k + 1)} \equiv \frac{X_{(k + 1)}}{X_{1} + \dots + X_{k + 1}} .

$\Delta_{(k+1)} \equiv \frac{X_{(k+1)}}{X_1 + \ldots + X_{k+1}}.$

4. Distribuzione asintotica

Usando l'equivalenza sopra, otteniamo

\begin{aligned} P ((k + 1) Δ_{(k + 1)} - \log (k + 1) \leq x) & = P (X_{(k + 1)} \leq (x + \log (k + 1)) \frac{X_{1} + \dots + X_{k + 1}}{k + 1}) \\ = P (X_{(k + 1)} - \log (k + 1) \leq x + (x + \log (k + 1)) T_{k + 1}), \end{aligned}

$\begin{align} P\big((k+1)\Delta_{(k+1)} - \log(k+1) \leq x\big) &= P\left(X_{(k+1)} \leq (x + \log(k+1))\frac{X_1 + \ldots + X_{k+1}}{k+1}\right) \\ &= P\left(X_{(k+1)} - \log(k+1) \leq x + (x + \log(k+1))T_{k+1}\right), \end{align}$

dove . Questa variabile svanisce nella probabilità perché e . Asintoticamente, la distribuzione è la stessa di . Perché sono IID, abbiamo $T_{k+1} = \frac{X_1+\ldots+X_{k+1}}{k+1} -1$ $E\left(T_{k+1}\right) = 0$ $Var\big(\log(k+1)T_{k+1}\big) = \frac{(\log(k+1))^2}{k+1} \downarrow 0$ $X_{(k+1)} - \log(k+1)$ $X_i$

\begin{aligned} P (X_{(k + 1)} - \log (k + 1) \leq x) & = P {(X_{1} \leq x + \log (k + 1))}^{k + 1} \\ = {(1 - e^{- x - \log (k + 1)})}^{k + 1} = {(1 - \frac{e^{- x}}{k + 1})}^{k + 1} \sim \exp {- e^{- x}} . \end{aligned}

$\begin{align} P\left(X_{(k+1)} - \log(k+1) \leq x \right) &= P\left(X_1 \leq x + \log(k+1)\right)^{k+1} \\ &= \left(1-e^{-x - \log(k+1)}\right)^{k+1} = \left(1-\frac{e^{-x}}{k+1}\right)^{k+1} \sim \exp\left\{-e^{-x}\right\}. \end{align}$

5. Panoramica grafica

Il diagramma seguente mostra la distribuzione del frammento più grande per diversi valori di . Per , ho anche sovrapposto la distribuzione asintotica di Gumbel (linea sottile). Il Gumbel è una pessima approssimazione per piccoli valori di quindi li ometto per non sovraccaricare l'immagine. L'approssimazione di Gumbel è buona da . $k$ $k=10, 20, 50$ $k$ $k \approx 50$

6. Riferimenti

Le prove di cui sopra sono tratte dai riferimenti 2 e 3. La letteratura citata contiene molti più risultati, come la distribuzione delle spaziature ordinate di qualsiasi rango, la loro distribuzione limite e alcune costruzioni alternative delle spaziature uniformi ordinate. I riferimenti chiave non sono facilmente accessibili, quindi fornisco anche collegamenti al testo completo.

Bairamov et al. (2010) Limita i risultati per le spaziature uniformi ordinate , Stat paper, 51: 1, pp 227-240
Holst (1980) Sulla lunghezza dei pezzi di un bastone spezzati a caso , J. Appl. Prob., 17, pp 623-634
Pyke (1965) spaziature , JRSS (B). 27: 3, pp 395-449
Renyi (1953) Sulla teoria delle statistiche dell'ordine , Acta math Hung, 4, pp 191-231

— gui11aume
fonte

Brillante. A proposito, esiste un asintotico noto a ?

E (Z_{k}^{2})

$E(Z_k ^2)$

— Amir Sagiv,

@AmirSagiv questa è una buona domanda. Ho dato una rapida occhiata ai riferimenti e non sono riuscito a trovarli. Inoltre non ho potuto adattare la prova di cui sopra. Questo mi ha fatto capire che non so quale sia la distribuzione di un quadrato di un Gumbel. Forse un buon punto di partenza?

— gui11aume,

$ gui11aume Guarda qui: mathoverflow.net/a/293381/42864

— Amir Sagiv

@AmirSagiv Questo è un ottimo post. Per qualche ragione, ho frainteso la tua domanda e ho pensato che fossi interessato alla distribuzione asintotica di (anche se il tuo commento era molto chiaro), quindi il mio commento sopra non è così rilevante.

Z_{k}^{2}

$Z_k^2$

— gui11aume,

Questa non è una risposta completa, ma ho fatto alcune simulazioni rapide, ed è quello che ho ottenuto: Istogramma del frammento più lungo

Sembra notevolmente beta-ish e questo ha un po 'di senso, dal momento che le statistiche dell'ordine delle distribuzioni uniformi iid sono beta wiki .

Questo potrebbe dare un punto di partenza per derivare il pdf risultante.

Aggiornerò se arrivo a una soluzione chiusa finale.

Saluti!

— Lima
fonte

Ancora un'altra cosa, la forma dell'istogramma per aumentare k non cambia considerevolmente, a parte il fatto di essere "schiacciata" vicino a 0.

— Lima

Grazie per i tuoi pensieri @Lima (e benvenuti a Cross Validated). Penso che la tua risposta possa essere migliorata. In primo luogo, mi asterrei dal fare dichiarazioni senza prove. Se ciò non è corretto, puoi mettere le persone che vedono questa discussione sulla strada sbagliata. Secondo, documenterei quello che hai fatto. Senza il valore di che hai usato né il codice, la figura non aiuta nessuno. Infine, vorrei copiare e modificare la risposta e rimuovere tutto ciò che non risponde direttamente alla domanda.

k

$k$

— gui11aume,

Grazie per i suggerimenti Sono validi oltre lo scambio di stack e mi ricorderò di usarli.

— Lima,

Ho prodotto la risposta per una conferenza a Siena (Italia) nel 2005. Il documento (2006) è presentato sul mio sito web qui (pdf) . Le distribuzioni esatte di tutte le distanze (dal più piccolo al più grande) sono riportate alle pagine 75 e 76.

Spero di fare una presentazione su questo argomento alla Conferenza RSS a Manchester (Inghilterra) a settembre 2016.

— CJStephens
fonte

Benvenuti nel sito. Stiamo cercando di creare un archivio permanente di informazioni statistiche di alta qualità sotto forma di domande e risposte. Pertanto, siamo diffidenti nei confronti delle risposte solo link, a causa di linkrot. Puoi pubblicare una citazione completa e un riepilogo delle informazioni al link, nel caso in cui vada a mancare? Inoltre, per favore non firmare i tuoi post qui. Ogni post ha un link alla tua pagina utente dove puoi pubblicare quelle informazioni.

— gung - Ripristina Monica