Convergenza in probabilità vs. convergenza quasi sicura

67

Non ho mai veramente criticato la differenza tra queste due misure di convergenza. (O, in effetti, uno qualsiasi dei diversi tipi di convergenza, ma menziono questi due in particolare a causa delle leggi deboli e forti dei grandi numeri.)

Certo, posso citare la definizione di ciascuno e dare un esempio in cui differiscono, ma non riesco ancora a capirlo.

Qual è un buon modo per capire la differenza? Perché la differenza è importante? C'è un esempio particolarmente memorabile in cui differiscono?

probability random-variable

— raegtin
fonte

Anche la risposta a questa: stats.stackexchange.com/questions/72859/…

— kjetil b halvorsen

Possibile duplicato di Esiste un'applicazione statistica che richiede una forte coerenza?

— kjetil b halvorsen,

67

Dal mio punto di vista la differenza è importante, ma soprattutto per ragioni filosofiche. Supponiamo di avere un dispositivo, che migliora con il tempo. Pertanto, ogni volta che si utilizza il dispositivo la probabilità che si verifichi un guasto è inferiore rispetto a prima.

La convergenza nella probabilità dice che la probabilità di fallimento va a zero quando il numero di usi va all'infinito. Quindi, dopo aver utilizzato il dispositivo un gran numero di volte, puoi essere molto sicuro che funzioni correttamente, potrebbe comunque fallire, è molto improbabile.

La convergenza quasi sicuramente è un po 'più forte. Dice che il numero totale di guasti è finito . Cioè, se conti il numero di guasti quando il numero di usi va all'infinito, otterrai un numero finito. L'impatto di ciò è il seguente: Man mano che si utilizza sempre più il dispositivo, dopo un numero limitato di utilizzi, si esauriranno tutti i guasti. Da quel momento in poi il dispositivo funzionerà perfettamente .

Come sottolinea Srikant, in realtà non sai quando hai esaurito tutti i fallimenti, quindi da un punto di vista puramente pratico, non c'è molta differenza tra le due modalità di convergenza.

Tuttavia, personalmente sono molto contento che, ad esempio, esista la legge forte di un gran numero, al contrario della sola legge debole. Perché ora, un esperimento scientifico per ottenere, diciamo, la velocità della luce, è giustificato nel prendere le medie. Almeno in teoria, dopo aver ottenuto abbastanza dati, puoi avvicinarti arbitrariamente alla vera velocità della luce. Non ci saranno errori (per quanto improbabili) nel processo di calcolo della media.

$\delta > 0$ $n$ $X_1,X_2,\dots,X_n$ $\mu$

S_{n} = \frac{1}{n} \sum_{k = 1}^{n} X_{k} .

$S_n = \frac{1}{n}\sum_{k=1}^n X_k.$

n

$n$

S_{n}

$S_n$

n = 1, 2, \dots

$n = 1,2,\dots$

X_{n}

$X_n$

P (| S_{n} - μ | > δ) \to 0

$P(|S_n - \mu| > \delta) \rightarrow 0$

n

$n$

\infty

$\infty$

| S_{n} - μ |

$|S_n - \mu|$

δ

$\delta$

I (| S_{n} - μ | > δ)

$I(|S_n - \mu| > \delta)$

| S_{n} - μ | > δ

$|S_n - \mu| > \delta$

\sum_{n = 1}^{\infty} I (| S_{n} - μ | > δ)

$\sum_{n=1}^{\infty}I(|S_n - \mu| > \delta)$

S_{n}

$S_n$

n_{0}

$n_0$

| S_{n} - μ | < δ

$|S_n - \mu| < \delta$

n > n_{0}

$n > n_0$

n > n_{0}

$n > n_0$

— Robby McKilliam
fonte

1

Grazie, mi piace la convergenza del punto di vista della serie infinita!

— Raegtin,

1

Penso che volevi dire numerabile e non necessariamente finito, sbaglio? O sto mescolando con integrali.

— Royi,

Per essere più precisi, l'insieme di eventi che accade (o no) è con la misura di zero -> probabilità che si verifichi zero.

— Royi,

n_{0}

$n_0$

n_{0}

$n_0$

33

So che questa domanda ha già una risposta (e piuttosto bene, a mio avviso), ma non c'era una questione diversa qui che ha avuto un commento @NRH che menzionato la spiegazione grafica, e piuttosto che mettere le immagini ci sembrerebbe più adatta a mettili qui.

Quindi, ecco qui. Non è bello come un pacchetto R. Ma è autonomo e non richiede un abbonamento a JSTOR.

$X_{i}= \pm 1$

\frac{S_{n}}{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}, n = 1, 2, \dots .

$\frac{S_{n}}{n} = \frac{1}{n}\sum_{i = 1}^{n}X_{i},\quad n=1,2,\ldots.$

Legge forte di grandi numeri

Lo SLLN (la convergenza quasi sicuramente) afferma che possiamo essere sicuri al 100% che questa curva che si estende verso destra alla fine, a un certo momento, cadrà interamente all'interno delle bande per sempre (a destra).

Il codice R utilizzato per generare questo grafico è sotto (etichette della trama omesse per brevità).

n <- 1000;  m <- 50; e <- 0.05
s <- cumsum(2*(rbinom(n, size=1, prob=0.5) - 0.5))
plot(s/seq.int(n), type = "l", ylim = c(-0.4, 0.4))
abline(h = c(-e,e), lty = 2)

Legge debole di grandi numeri

$n$

Segue il codice R per il grafico (di nuovo, saltando le etichette).

x <- matrix(2*(rbinom(n*m, size=1, prob=0.5) - 0.5), ncol = m)
y <- apply(x, 2, function(z) cumsum(z)/seq_along(z))
matplot(y, type = "l", ylim = c(-0.4,0.4))
abline(h = c(-e,e), lty = 2, lwd = 2)

— Comunità
fonte

6

Lo capisco come segue,

Convergenza in probabilità

La probabilità che la sequenza di variabili casuali sia uguale al valore target è asintoticamente decrescente e si avvicina a 0 ma non raggiunge mai effettivamente 0.

Convergenza quasi sicura

La sequenza di variabili casuali equivale asintoticamente al valore target, ma non è possibile prevedere in quale momento accadrà.

$\equiv$

Il wiki ha alcuni esempi di entrambi che dovrebbero aiutare a chiarire quanto sopra (in particolare vedi l'esempio dell'arciere nel contesto della convergenza in prob e l'esempio dell'ente benefico nel contesto della convergenza quasi sicura).

Da un punto di vista pratico, la convergenza in probabilità è sufficiente poiché non ci preoccupiamo particolarmente di eventi molto improbabili. Ad esempio, la coerenza di uno stimatore è essenzialmente la convergenza in probabilità. Pertanto, quando si utilizza una stima coerente, riconosciamo implicitamente il fatto che in campioni di grandi dimensioni esiste una probabilità molto piccola che la nostra stima sia lontana dal valore reale. Viviamo con questo "difetto" della convergenza nella probabilità poiché sappiamo che asintoticamente la probabilità che lo stimatore sia lontano dalla verità è vanificante.

— gung - Ripristina Monica
fonte

L'editore tentato sostiene che questo dovrebbe leggere "La probabilità che la sequenza di variabili casuali non sia uguale al valore target ...".

— gung - Ripristina Monica

"La probabilità che la sequenza di variabili casuali sia uguale al valore target è asintoticamente decrescente e si avvicina a 0 ma non raggiunge mai effettivamente 0" Non dovrebbe essere MAI in realtà mai raggiungere lo 0?

— Jyotish Robin,

@gung La probabilità che sia uguale al valore target si avvicina a 1 o la probabilità che non sia uguale ai valori target si avvicina a 0. La definizione corrente non è corretta.

— Undertherainbow,

5

Se ti piacciono le spiegazioni visive, c'era un bell'articolo di "Teacher's Corner" su questo argomento nello Statistico americano (cita sotto). Come bonus, gli autori hanno incluso un pacchetto R per facilitare l'apprendimento.

@article{lafaye09,
  title={Understanding Convergence Concepts: A Visual-Minded and Graphical Simulation-Based Approach},
  author={Lafaye de Micheaux, P. and Liquet, B.},
  journal={The American Statistician},
  volume={63},
  number={2},
  pages={173--178},
  year={2009},
  publisher={ASA}
}

— Kingsford Jones
fonte

1

Quest'ultimo ragazzo lo spiega molto bene. Se prendi una sequenza di variabili casuali Xn = 1 con probabilità 1 / n e zero altrimenti. È facile vedere prendere limiti che questo converge a zero in probabilità, ma non riesce a convergere quasi sicuramente. Come ha detto, alla probabilità non importa che potremmo trovarne uno lungo la strada. Quasi sicuramente.

Quasi sicuramente implica una convergenza in probabilità, ma non viceversa?

— Tim Brown
fonte

5

Benvenuto nel sito, @ Tim-Brown, apprezziamo il tuo aiuto nel rispondere alle domande qui. Una cosa da notare è che è meglio identificare altre risposte con il nome utente del risponditore, "quest'ultimo ragazzo" non sarà molto efficace. Ad esempio, l'elenco verrà riordinato nel tempo con il voto delle persone. Potresti voler leggere le nostre FAQ .

— gung - Ripristina Monica

0

Una cosa che mi ha aiutato a capire la differenza è la seguente equivalenza

$P({\lim_{n\to\infty}|X_n-X|=0})=1 \Leftarrow \Rightarrow \lim_{n\to\infty}({\sup_{m>=n}|X_m-X|>\epsilon })=0$ $\forall \epsilon > 0$

In confronto convergenza stocastica:

$\lim_{n\to\infty}P(|X_n-X|>\epsilon) = 0$ $\forall \epsilon >0$

Quando si confronta il lato destro dell'equivalenza superiore con la convergenza stocastica, penso che la differenza diventi più chiara.

— Sebastian
fonte