Rompicapo: Qual è la lunghezza attesa di una sequenza iid che sta aumentando monotonicamente quando viene attinto da una distribuzione uniforme [0,1]?

Questa è una domanda di intervista per una posizione di analista quantitativa, riportata qui . Supponiamo che stiamo attingendo da una distribuzione uniforme $[0,1]$ e che i disegni siano iid, qual è la lunghezza prevista di una distribuzione monotonicamente crescente? Cioè, smettiamo di disegnare se il sorteggio corrente è minore o uguale al sorteggio precedente.

Ho ottenuto i primi:

Pr (length = 1) = \int_{0}^{1} \int_{0}^{x_{1}} d x_{2} d x_{1} = 1 / 2

$\Pr(\text{length} = 1) = \int_0^1 \int_0^{x_1} \mathrm{d}x_2\, \mathrm{d}x_1 = 1/2$

Pr (length = 2) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{0}^{x_{2}} d x_{3} d x_{2} d x_{1} = 1 / 3

$\Pr(\text{length} = 2) = \int_0^1 \int_{x_1}^1 \int_0^{x_2} \mathrm{d}x_3 \, \mathrm{d}x_2 \, \mathrm{d}x_1 = 1/3$

Pr (length = 3) = \int_{0}^{1} \int_{x_{1}}^{1} \int_{x_{2}}^{1} \int_{0}^{x_{3}} d x_{4} d x_{3} d x_{2} d x_{1} = 1 / 8

$\Pr(\text{length} = 3) = \int_0^1 \int_{x_1}^1 \int_{x_2}^1 \int_0^{x_3} \mathrm{d}x_4\, \mathrm{d}x_3\, \mathrm{d}x_2\, \mathrm{d}x_1 = 1/8$

ma trovo il calcolo di questi integrali nidificati sempre più difficile e non sto ottenendo il "trucco" per generalizzare a $\Pr(\text{length} = n)$ . So che la risposta finale è strutturata

E (length) = \sum_{n = 1}^{\infty} n Pr (length = n)

$\mathbb E(\text{length}) = \sum_{n=1}^{\infty}n\Pr(\text{length} = n)$

Qualche idea su come rispondere a questa domanda?

— amazzonica
fonte

Risposte:

Ecco alcuni suggerimenti generali per risolvere questa domanda:

Hai una sequenza di variabili casuali IID continue, il che significa che sono scambiabili . Che cosa implica questo sulla probabilità di ottenere un ordine particolare per i primi $n$ valori? Sulla base di ciò, qual è la probabilità di ottenere un ordine crescente per i primi $n$ valori? È possibile capirlo senza integrarsi sulla distribuzione delle variabili casuali sottostanti. Se lo fai bene, sarai in grado di ricavare una risposta senza l'assunzione di una distribuzione uniforme - vale a dire, otterrai una risposta che si applica per eventuali sequenze intercambiabili di variabili casuali continue.

Ecco la soluzione completa ( non guardare se dovresti capirlo da solo ):

Consenti a essere la sequenza di variabili casuali continue indipendenti e lascia che il numero di elementi crescenti all'inizio della sequenza. Poiché si tratta di variabili casuali intercambiabili continue, sono quasi sicuramente ineguali tra loro e qualsiasi ordinamento è ugualmente probabile, quindi abbiamo: (Si noti che questo risultato vale per qualsiasi sequenza IID di variabili casuali continue; non devono avere una distribuzione uniforme.) Quindi la variabile casuale ha una funzione di massa di probabilità $U_1, U_2, U_3, \cdots \sim \text{IID Continuous Dist}$ $N \equiv \max \{ n \in \mathbb{N} | U_1 < U_2 < \cdots < U_n \}$
$P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n}) = \frac{1}{n!} .$ $\mathbb{P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n) = \frac{1}{n!}.$ $N$ $p_{N} (n) = P (N = n) = \frac{1}{n!} - \frac{1}{(n + 1)!} = \frac{n}{(n + 1)!} .$ $p_N(n) = \mathbb{P}(N=n) = \frac{1}{n!} - \frac{1}{(n+1)!} = \frac{n}{(n+1)!}.$ Noterai che questo risultato è in accordo con i valori che hai calcolato usando l'integrazione sui valori sottostanti. (Questa parte non è necessaria per la soluzione; è inclusa per completezza.) Usando una regola ben nota per il valore atteso di una variabile casuale non negativa , abbiamo: Notare ancora che non c'è nulla nel nostro lavoro che abbia utilizzato la distribuzione uniforme sottostante. Quindi, questo è un risultato generale che si applica a qualsiasi sequenza intercambiabile di variabili casuali continue. $E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n) = \sum_{n = 1}^{\infty} \frac{1}{n!} = e - 1 = 1.718282.$ $\mathbb{E}(N) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n) = \sum_{n=1}^\infty \frac{1}{n!} = e - 1 = 1.718282.$

Alcuni approfondimenti:

Da quanto detto sopra vediamo che questo risultato distributivo e il risultante valore atteso non dipendono dalla distribuzione sottostante, purché si tratti di una distribuzione continua. Questo non è davvero sorprendente se consideriamo il fatto che ogni variabile casuale scalare continua può essere ottenuta tramite una trasformazione monotonica di una variabile casuale uniforme (con la trasformazione come sua funzione quantile). Poiché le trasformazioni monotoniche preservano l'ordine di rango, esaminare le probabilità degli ordinamenti di variabili casuali continue IID arbitrarie equivale a guardare le probabilità degli ordinamenti di variabili casuali uniformi IID .

— Ripristina Monica
fonte

Ben fatto! (+1)

— jbowman,

@Ben Ti seguo fino all'ultima equazione ... Pensavo che il valore atteso fosse, piuttosto che ... puoi spiegare di più questa parte?

E (N) = \sum_{n = 1}^{\infty} P (N = n) * n = \sum_{n = 1}^{\infty} n^{2} / (n + 1)!

$E(N)=∑_{n=1}^∞P(N=n)*n=∑_{n=1}^∞ n^2/(n+1)!$

E (N) = \sum_{n = 1}^{\infty} P (N ⩾ n)

$E(N)=∑_{n=1}^∞P(N⩾n)$

— Amazzonia,

Questa è una regola ben nota per il valore atteso di una variabile casuale non negativa . Usando una tecnica che prevede lo scambio dell'ordine delle sommazioni, hai: Quindi dovresti trovare che .

E (N) = \sum_{n = 1}^{\infty} n P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = 1}^{n} P (N = n) = \sum_{n = 1}^{\infty} \sum_{k = n}^{\infty} P (N = k) = \sum_{n = 1}^{\infty} P (N ⩾ n) .

$\mathbb{E}(N) = \sum_{n=1}^\infty n \mathbb{P}(N=n) = \sum_{n=1}^\infty \sum_{k=1}^n \mathbb{P}(N = n) = \sum_{n=1}^\infty \sum_{k=n}^\infty \mathbb{P}(N =k) = \sum_{n=1}^\infty \mathbb{P}(N \geqslant n).$

\sum_{n} \frac{1}{n!} = \sum_{n} \frac{n^{2}}{(n + 1)!}

$\sum_n \tfrac{1}{n!} = \sum_n \tfrac{n^2}{(n+1)!}$

— Ripristina Monica il

Puoi per favore spiegare perché ?

P (N ⩾ n) = P (U_{1} < U_{2} < \dots < U_{n})

${P}(N \geqslant n) = \mathbb{P}(U_1 < U_2 < \cdots < U_n)$

— badmax

@badmax: la variabile casuale è il numero di elementi crescenti di all'inizio della sequenza (vedere la sua definizione). Pertanto, se significa che ci sono almeno elementi crescenti all'inizio della sequenza. Ciò significa che i primi elementi devono essere in ordine crescente, ovvero .

N

$N$

U

$U$

N ⩾ n

$N \geqslant n$

n

$n$

n

$n$

U_{1} < U_{2} < \dots < U_{n}

$U_1 < U_2 < \cdots < U_n$

— Ripristina Monica il

Un altro metodo di risoluzione che ti offre la soluzione per un caso più generale.

Supponiamo che sia la lunghezza prevista di una sequenza monotonica , tale che . Il valore che vogliamo calcolare è . E sappiamo che . Condizionamento sul valore successivo, $F(x)$ $\{x_1, x_2, ...\}$ $x\leq x_1\leq x_2\leq\cdots$ $F(0)$ $F(1)=0$

F (x) = \int_{0}^{x} π (y) \cdot 0 d y + \int_{x}^{1} π (y) (1 + F (y)) d y = \int_{x}^{1} 1 + F (y) d y

$F(x) = \int_0^x \pi(y)\cdot 0 dy + \int_x^1\pi(y)(1+F(y))dy= \int_x^1 1+F(y) dy$

dove è la densità U [0,1]. Così $\pi(y)=1$

F^{'} (x) = - (1 + F (x))

$F'(x)=-(1+F(x))$

Risolvendo con la condizione al contorno , otteniamo . Quindi . $F(1)=0$ $F(x) = e^{(1-x)}-1$ $F(0)=e-1$

— jf328
fonte

Questo è molto intelligente. Giusto per spiegarlo un po ': le tue osservazioni sono che 1) se è la lunghezza della sequenza crescente iniziale più lunga meno una, allora è sufficiente determinare e impostare e 2) è zero se e altrimenti. Poiché otteniamo , che nel caso uniforme possono essere risolti direttamente.

L

$L$

E (L | X_{0} = x) =: F (x)

$E(L|X_0=x)=:F(x)$

x = 0

$x=0$

E (L | X_{0} = x, X_{1} = y)

$E(L|X_0=x,X_1=y)$

y < x

$y<x$

1 + E (L | X_{0} = y)

$1+E(L|X_0=y)$

E (L | X_{0} = x) = E (E (L | X_{0} = x, X_{1})) = \int_{R} f_{X} (y) E (L | X_{0} = x, X_{1} = y) d y = \int_{x}^{1} f_{X} (y) (1 + E (L | X_{0} = y)) d y = \int_{x}^{1} f_{X} (y) (1 + F (y)) d y

$E(L|X_0=x)=E(E(L|X_0=x,X_1)) = \int_\mathbb{R} f_X(y) E(L|X_0=x, X_1=y) dy = \int_x^1 f_X(y)(1+E(L|X_0=y))dy= \int_x^1 f_X(y)(1+F(y))dy$

F^{'} (x) = - f_{X} (x) (1 + F (x))

$F'(x)=-f_X(x)(1+F(x))$

— Matthew Towers,

+1 Davvero molto intelligente. Ma poiché la risposta finale non dipende dalla distribuzione (come discute dall'altra risposta), anche questo calcolo non dovrebbe in qualche modo dipendere da . C'è un modo per vederlo? CC a @m_t_.

π (y)

$\pi(y)$

— ameba dice Reinstate Monica il

@amoeba Sono d'accordo che non dovrebbe dipendere dalla distribuzione degli s, ma altri valori di dovrebbero: la soluzione generale di quel DE è

F (0)

$F(0)$

X

$X$

F

$F$

F = C e^{- \int π} - 1

$F=Ce^{-\int \pi}-1$

— Matthew Towers

@MartijnWeterings Penso che , non 1, ad esempio nel caso uniforme otteniamo

C = e

$C=e$

e e^{- x} - 1

$e e^{-x} -1$

— Matthew Towers

Si hai ragione. Ho usato il caso uniforme per dedurre la mia affermazione, ma ho usato falsamente invece di

c e^{1 - x} - 1

$ce^{1-x}-1$

c e^{- x} - 1

$ce^{-x}-1$

— Sesto Empirico

Un altro metodo di risoluzione è calcolare direttamente l'integrale.

La probabilità di generare una sequenza la cui parte crescente ha una lunghezza di è , dove . $\geq n$ $f^n(0)$ $f^n(x) = \int_{x}^{1}\int_{x_1}^{1}\int_{x_2}^{1}...\int_{x_{n-2}}^{1}\int_{x_{n-1}}^{1}dx_ndx_{n-1}...dx_2dx_1$

Quello che dobbiamo fare è calcolare . $f^n(0)$

Se provi a calcolare i primi diversi , forse troverai che $f^n(x)$ $f^n(x) = \sum_{t=0}^n \dfrac{(-x)^t}{t!(n-t)!}$

Caso base: quando , $n=1$ $f^1(x) = \sum_{t=0}^1 \dfrac{(-x)^t}{t!(n-t)!}=1-x=\int_{x}^{1}dx_1$

Ipotesi induttiva: quando , $n=k$ $f^n(x) = \sum_{t=0}^k \dfrac{(-x)^t}{t!(k-t)!}\text{ , for }k \geq 1$

Passo induttivo: quando , $n = k+1$

$\ \ \ \ \ f^{n}(x) = f^{k+1}(x) = \int_{x}^{1}f^{k}(x^*)dx^*$

$=\int_{x}^{1}\sum_{t=0}^{k} \dfrac{(-x^*)^t}{t!(k-t)!}dx^*$

$=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{t!(k-t)!\times(t+1)}\Biggr|_{x}^{1}\\=\sum_{t=0}^{k} \dfrac{-(-x^*)^{t+1}}{(t+1)!(k-t)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{-(-x^*)^{t}}{t!(k-t+1)!}\Biggr|_{x}^{1}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}}{t!(k-t+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=1}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}+\sum_{t=0}^{k+1} \dfrac{(-1)^{t+1}C_t^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\dfrac{1}{(k+1)!}-\dfrac{(1-1)^{k+1}}{(k+1)!}+\sum_{t=1}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

$=\sum_{t=0}^{k+1} \dfrac{(-x)^{t}}{t!(k-t+1)!}$

Per Mathematical Induction, il presupposto vale.

Quindi, otteniamo che $f^n(0)=\dfrac{1}{n!}$

Quindi, $E(length)=\sum_{n=1}^{\infty} Pr(length\geq n)=\sum_{n=1}^{\infty} \dfrac{1}{n!}=e-1$

— 劉家維
fonte