Cosa sono le variabili casuali iid?

49

Come spiegheresti iid (indipendente e distribuito in modo identico) a persone non tecniche?

random-variable intuition

— user333
fonte

55

Significa "indipendente e distribuito in modo identico".

Un buon esempio è una successione di lanci di una moneta giusta: la moneta non ha memoria, quindi tutti i tiri sono "indipendenti".

E ogni lancio è 50:50 (testa: croce), quindi la moneta è e rimane giusta - la distribuzione da cui viene pescato ogni lancio, per così dire, è e rimane la stessa: "identicamente distribuita".

Un buon punto di partenza sarebbe la pagina di Wikipedia .

::MODIFICARE::

Segui questo link per esplorare ulteriormente il concetto.

— vonjd
fonte

11

Mi chiedo se l'esempio del lancio della moneta darebbe falsamente l'impressione che ogni evento debba essere equiprobabile ...

— Michael McGowan,

1

Quindi, non è necessario che le variabili casuali IID siano equi probabili? se non sono equiprobabili, come si può spiegare la "distribuzione identica"? Grazie mille in anticipo ...

6

@Nalini "equi-probable" non è sinonimo di "identicamente distribuito". Se ed sono IID, questi mezzi sono prelevati dalla stessa distribuzione, non che tutti i valori che la distribuzione sono equiprobabili (si pensi alla distribuzione normale). ed avrebbe lo stesso valore atteso, però.

x

$x$

y

$y$

x

$x$

y

$y$

— Jason Morgan,

Se due variabili sono indipendenti e distribuite normalmente ma con media e varianza diverse, sono ancora iid?

— spurra,

1

@spurra Non penso proprio .. sono solo indipendenti

— user3595632

22

Spiegazione non tecnica:

L'indipendenza è una nozione molto generale. Si dice che due eventi siano indipendenti se il verificarsi di uno non fornisce alcuna informazione sul fatto che l'altro evento si sia verificato o meno. In particolare, la probabilità che attribuiamo al secondo evento non è influenzata dalla consapevolezza che si è verificato il primo evento.

Esempio di eventi indipendenti, possibilmente distribuiti in modo identico
Considerare di lanciare due monete diverse una dopo l'altra. Supponendo che il pollice non si sia indebitamente indebolito quando ha lanciato la prima moneta, è ragionevole supporre che sapere che il primo lancio di una moneta abbia portato Heads non influisce in alcun modo su ciò che pensi sia la probabilità di Heads al secondo lancio. I due eventi sono considerati eventi indipendenti .
${first coin toss resulted in Heads} and {second coin toss resulted in Heads}$
- Se sappiamo, o insistiamo ostinatamente, che le due monete hanno diverse probabilità di provocare teste, gli eventi non vengono distribuiti in modo identico.
- Se sappiamo o supponiamo che le due monete abbiano la stessa probabilità di salire Heads, anche gli eventi di cui sopra sono distribuiti in modo identico, il che significa che entrambi hanno la stessa probabilità di verificarsi. Ma nota che a meno che , la probabilità di Heads non sia uguale alla probabilità di Tails. Come osservato in uno dei commenti, "distribuzione identica" non è la stessa di "ugualmente probabile". $p$ $p$ $p = \frac 12$
Esempio di eventi non indipendenti distribuiti in modo identico
Considera un'urna con due palline all'interno, una nera e una bianca. Ci raggiungiamo e disegniamo le due palle una dopo l'altra, scegliendo la prima a caso (e questo ovviamente determina il colore della palla successiva). Pertanto, i due risultati ugualmente probabili dell'esperimento sono (Bianco, Nero) e (Nero, Bianco), e vediamo che la prima palla è ugualmente probabile che sia Nera o Bianca e quindi anche la seconda palla è ugualmente probabile che sia Nera o bianco. In altre parole, gli eventi sono certamente distribuiti in modo identico, ma sono sicuramente non
${first ball drawn is Black} and {second ball drawn is Black}$ $\{\text{first ball drawn is Black}\}~~\text{and}~~\{\text{second ball drawn is Black}\}$ eventi indipendenti. In effetti, se sappiamo che si è verificato il primo evento, sappiamo per certo che il secondo non può verificarsi. Pertanto, mentre la nostra valutazione iniziale della probabilità del secondo evento è , una volta che sappiamo che si è verificato il primo evento, dovremmo rivedere al meglio la nostra valutazione della probabilità che il secondo sorteggio sia nero da a . $\frac 12$ $\frac 12$ $0$

— Dilip Sarwate
fonte

"Come notato in uno dei commenti," distribuzione identica "non è la stessa di" ugualmente probabile "." Qual è la differenza? "altrettanto probabile" significa che le teste sono ugualmente probabili come code? Considerando che "distribuito in modo identico" significa che ogni evento ha la stessa probabilità di responsabili?

— Il pisello rosso

3

@TheRedPea Non del tutto. Se abbiamo una moneta distorta che presenta H con probabilità , gli eventi "Primo lancio è H" e l'evento "Secondo lancio è H" sono indipendenti e ugualmente probabili (entrambi hanno probabilità ). Inoltre i tiri sono distribuiti in modo identico: entrambi hanno le stesse probabilità ( e per H e T) nei vari lanci. Ma gli eventi "First Toss is H" e "First Toss is T" non sono ugualmente probabili . Né sono indipendenti. Distribuzione identica = tutti i lanci hanno la stessa distribuzione .

p \neq \frac{1}{2}

$p \ne \frac 12$

p

$p$

p

$p$

1 - p

$1-p$

— Dilip Sarwate,

2

@TheRedPea (continua) Ugualmente probabile significa che due eventi hanno la stessa probabilità. Gli eventi possono essere definiti attraverso i lanci come sopra o all'interno di un singolo esperimento. Il modello canonico semplice di un esperimento è di uno spazio campione con risultati in cui tutti i risultati hanno la stessa probabilità . È comune descriverlo dicendo "una moneta giusta" o "un dado giusto" o dicendo cose come "Una palla viene scelta a caso da un'urna con 3 palle verdi e 2 palle rosse" ecc. Sono solo i puristi che cavillerà e insisterà sul fatto che dovrebbe essere "un bel dado" ....

n

$n$

\frac{1}{n}

$\frac 1n$

— Dilip Sarwate,

OK, quindi la distribuzione identica si riferisce all'intera distribuzione di probabilità, mentre la stessa probabilità si riferisce a parti di tale distribuzione di probabilità. Ora capisco, grazie.

— Il pisello rosso

Non sono sicuro che l'ultimo esempio sia distribuito in modo identico. È discutibile che " se due eventi non sono indipendenti, non possono provenire da distribuzioni identiche"? Ad esempio, nel tuo esempio direi che il secondo sorteggio ha una distribuzione diversa a causa del primo evento.

— jiggunjer,

3

Una variabile casuale è una variabile che contiene la probabilità di tutti gli eventi possibili in uno scenario. Ad esempio, consente di creare una variabile casuale che rappresenta il numero di teste in 100 lanci di monete. La variabile casuale conterrà la probabilità di ottenere 1 testa, 2 teste, 3 teste ..... fino a 100 teste. Consente di chiamare questa variabile casuale X .

Se hai due variabili casuali, allora sono IID (indipendenti identicamente distribuiti) se:

Se sono indipendenti . Come spiegato sopra l'indipendenza significa che il verificarsi di un evento non fornisce alcuna informazione sull'altro evento. Ad esempio, se ottengo 100 teste dopo 100 lanci, le probabilità di ottenere teste o code nel prossimo lancio sono le stesse.
Se ogni variabile casuale condivide la stessa distribuzione . Ad esempio, consente di dare la variabile casuale dall'alto - X . Diciamo che X rappresenta Obama che sta per lanciare una moneta 100 volte. Ora supponiamo che Y rappresenti un Sacerdote che sta per lanciare una moneta 100 volte. Se Obama e il Sacerdote lanciano monete con la stessa probabilità di atterrare sulle teste, allora X e Y sono considerati identicamente distribuiti. Se campioniamo ripetutamente dal prete o da Obama, i campioni vengono considerati distribuiti in modo identico.

Nota a margine: l'indipendenza significa anche che puoi moltiplicare le probabilità. Diciamo che la probabilità di testa è p, quindi la probabilità di ottenere due teste di fila è p * p o p ^ 2.

— thebajo
fonte

2

Che due variabili dipendenti possano avere la stessa distribuzione può essere mostrato con questo esempio:

Supponi due esperimenti successivi che coinvolgono ogni 100 lanci di una moneta distorta, in cui il numero totale di Testa viene modellato come una variabile casuale X1 per il primo esperimento e X2 per il secondo esperimento. X1 e X2 sono variabili casuali binomiali con i parametri 100 e p, dove p la tendenza della moneta.
Come tali, sono distribuiti in modo identico. Tuttavia non sono indipendenti, poiché il valore del primo è piuttosto informativo sul valore del secondo. Cioè se il risultato del primo esperimento è di 100 teste, questo ci dice molto sulla propensione della moneta e quindi ci fornisce molte nuove informazioni sulla distribuzione di X2.
Ancora X2 e X1 sono distribuiti in modo identico poiché sono derivati dalla stessa moneta.

Ciò che è anche vero è che se 2 variabili casuali dipendono, il posteriore di X2 dato X1 non sarà mai lo stesso del precedente di X2 e viceversa. Mentre quando X1 e X2 sono indipendenti, i loro posteriori sono uguali ai loro priori. Pertanto, quando due variabili sono dipendenti, l'osservazione di una di esse comporta stime riviste sulla distribuzione della seconda. Tuttavia entrambi possono provenire dalla stessa distribuzione, è solo che impariamo nel processo di più sulla natura di questa distribuzione. Quindi, tornando alla moneta lancia esperimenti, inizialmente in assenza di informazioni potremmo supporre che X1 e X2 seguano una distribuzione binomiale con i parametri 100 e 0,5. Ma dopo aver osservato 100 Heads di fila, rivederemo sicuramente la nostra stima del parametro p per renderlo abbastanza vicino a 1.

— RF7
fonte

1

Un'aggregazione di diversi disegni casuali dalla stessa distribuzione. Un esempio è quello di estrarre un marmo dalla borsa 10.000 volte e contare le volte in cui si estrae il marmo rosso.

— Caleb
fonte

1

Puoi espandere come questo si aggiunge alle risposte esistenti?

— mdewey,

0

Se una variabile casuale proviene da una popolazione che ha (diciamo) una distribuzione normale, cioè il suo pdf (funzione di densità di probabilità) è quello della distribuzione normale, con una media della popolazione e varianza della popolazione ( i numeri sono ipotetici e sono solo per la tua comprensione e per semplificare i confronti) possiamo descriverli come segue: . $X$ $\mu=3$ $\sigma^2=4$ $X \sim N(3 , 4)$

Ora se abbiamo un'altra variabile casuale che è anche normalmente distribuita e che è allora e sono identicamente distribuiti. $Y$ $Y \sim N(3, 4)$ $X$ $Y$

Tuttavia, essere identicamente distribuiti non implica necessariamente indipendenza.

— S Jalal
fonte

8

Devi avere in mente un insieme interessante di "persone non tecniche" quando ti affidi a termini tecnici come "variabile casuale", "distribuzione normale", "pdf", "varianza" e "indipendenza". Mi azzarderei a dire che è l'insieme vuoto.

— whuber

" essere identicamente distribuiti non implica necessariamente indipendenza ". Come può la dipendenza influire su due variabili identicamente distribuite? Mi sembrerebbe che la dipendenza provochi una non-identicità, ma non tutta la non-identicità è dovuta alla dipendenza .

— jiggunjer,