Il paradosso dei dati iid (almeno per me)

Per quanto riguarda la mia aggregati (e scarse) conoscenze sulle statistiche permessi, ho capito che se $X_1, X_2,..., X_n$ sono variabili casuali, quindi come implica il termine sono indipendenti e identicamente distribuite.

La mia preoccupazione qui è l'ex di proprietà di campioni iid, in cui si legge:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}),

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}),$

per qualsiasi collezione di $i_j$ 's dist $1 \leq i_j < n$ .

Tuttavia si sa che l'aggregato di campioni indipendenti di distribuzioni identiche fornisce informazioni sulla struttura di distribuzione e, di conseguenza, su $X_n$ nel caso precedente, quindi non dovrebbe essere il caso che:

p (X_{n} | X_{i_{1}}, X_{i_{2}}, . . ., X_{i_{k}}) = p (X_{n}) .

$p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}).$

So di essere vittima di un errore ma non so perché. Per favore, aiutami su questo.

sampling conditional-probability independence

— Cupitor
fonte

Conosci la regola di Bayes? Sentito parlare di classici. vs statistiche bayesiane? Priori?

— Matthew Gunn,

Non seguo l'argomento alla fine della tua domanda. Puoi essere più esplicito?

— Glen_b -Restinata Monica,

@Glen_b cos'è che non segui esattamente? Cosa intendi per fine? Sto cercando di dire con diverse logiche sia un'uguaglianza che una disuguaglianza sembrano plausibili, il che è un paradosso.

— Cupitor,

Non c'è paradosso qui - semplicemente un fallimento nell'applicazione delle definizioni appropriate. Non puoi pretendere di avere un paradosso quando ignori il significato delle parole che usi! In questo caso, il confronto tra la definizione di indipendente e quella di probabilità rivelerà l'errore.

— whuber

@whuber, presumo tu abbia notato l'esplicito "(almeno per me)" nel titolo della mia domanda e anche il fatto che chiedo aiuto per trovare l '"errore" della mia tesi, il che indica il fatto che questo non è davvero un vero paradosso.

— Cupitor,

Risposte:

Penso che stai confondendo un modello stimato di una distribuzione con una variabile casuale . Riscriviamo l'assunto di indipendenza come segue: che dice che se conosci la distribuzione sottostante di ( e, ad esempio, può identificarlo con una serie di parametri

\begin{matrix} (1) & P (X_{n} | θ, X_{i_{1}}, X_{i_{2}}, \dots, X_{i_{k}}) = P (X_{n} | θ) \end{matrix}

$P(X_n | \theta, X_{i_1}, X_{i_2}, \dots, X_{i_k}) = P(X_n | \theta) \tag{1}$ $X_n$

θ

$\theta$ ) quindi la distribuzione non cambia dato che ne sono stati osservati alcuni campioni.

Ad esempio, si pensi come variabile casuale che rappresenta il risultato della -esimo lancio di una moneta. Conoscere la probabilità di testa e coda per la moneta (che, tra l'altro, assume sia codificato in ) è sufficiente per conoscere la distribuzione di . In particolare, i risultati dei lanci precedenti non modifica la probabilità di testa o di coda per l' -esimo lancio, e contiene. $X_n$ $n$ $\theta$ $X_n$ $n$ $(1)$

Si noti, tuttavia, che . $P(\theta | X_n) \neq P(\theta | X_{i_1}, X_{i_2}, \dots, X_{i_k})$

— Sobi
fonte

Grazie mille. Abbastanza fino al punto. Abbastanza divertente che ho indovinato una risposta del genere qualche tempo fa, ma me ne sono dimenticato .... Per quanto ho capito, l'errore fallace presuppone implicitamente "un modello" che può parametrizzare la distribuzione di variabili casuali. Ho capito bene?

— Cupitor,

@Cupitor: sono contento che sia stato utile. Sì, condizionato dal modello, le variabili casuali indipendenti non si influenzano a vicenda. Tuttavia, la probabilità che una determinata distribuzione abbia generato una sequenza di risultati cambia quando vedi più campioni dalla distribuzione (vera) sottostante (indipendentemente dal presupposto di indipendenza).

— Sobi,

Se prendi un approccio bayesiano e tratti i parametri che descrivono la distribuzione di come una variabile / vettore casuale, allora le osservazioni non sono indipendenti, ma sarebbero condizionatamente indipendenti data la conoscenza di quindi sarebbe valido. $X$ $\theta$ $P(X_n \mid X_{n-1}, \ldots X_1, \theta) = P(X_n \mid \theta)$

In un approccio statistico classico, non è una variabile casuale. I calcoli vengono eseguiti come se sapessimo cos'è . In un certo senso, stai sempre condizionando (anche se non conosci il valore). $\theta$ $\theta$ $\theta$

Quando hai scritto, "... fornisci informazioni sulla struttura di distribuzione e, di conseguenza, su " hai implicitamente adottato un approccio bayesiano ma non lo hai fatto esattamente. Stai scrivendo una proprietà di campioni IID che un frequentatore scriverebbe, ma la dichiarazione corrispondente in un setup bayesiano implicherebbe il condizionamento su . $X_n$ $\theta$

Statisti bayesiani e classici

Sia il risultato del lancio di una moneta sbilenca e ingiusta. Non conosciamo la probabilità che la moneta atterra. $x_i$

Per lo statistico classico, il frequentista, è un parametro, chiamiamolo . Osserva che qui è uno scalare, come il numero 1/3. Potremmo non sapere quale sia il numero, ma è un numero! E ' non è casuale! $P(x_i = H)$ $\theta$ $\theta$
Per lo statistico bayesiano, stesso è una variabile casuale! Questo è estremamente diverso! $\theta$

L'idea chiave qui è che lo statistico bayesiano estende gli strumenti della probabilità a situazioni in cui lo statistico classico non lo fa . Per il frequentatore, non è una variabile casuale perché ha un solo valore possibile ! Non sono possibili risultati multipli! Nell'immaginazione del bayesiano, tuttavia, sono possibili più valori di e il bayesiano è disposto a modellare quell'incertezza (nella sua mente) usando gli strumenti della probabilità. $\theta$ $\theta$

Dove sta andando?

Diciamo che lanciamo la moneta volte. Una vibrazione non influisce sul risultato dell'altra. Lo statistico classico chiamerebbe questi lanci indipendenti (e in effetti lo sono). Avremo: Dove è un parametro sconosciuto. (Ricorda, non sappiamo cosa sia, ma non è una variabile casuale! È un numero.) $n$

P (x_{n} = H ∣ x_{n - 1}, x_{n - 2}, \dots, x_{1}) = P (x_{n} = H) = θ

$P(x_n=H \mid x_{n-1}, x_{n-2}, \ldots,x_{1}) = P(x_n=H) = \theta$

θ

$\theta$

Una bayesiana nel profondo della probabilità soggettiva direbbe che ciò che conta è la probabilità dalla sua prospettiva! . Se vede 10 teste di fila, una 11a testa è più probabile perché 10 teste di fila portano a credere che la moneta sia sbilenco a favore delle teste.

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H) > P (x_{1} = H)

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H) > P(x_1 = H)$

$\theta$ $\theta$ $\theta$

P (x_{11} = H ∣ x_{10} = H, x_{9} = H, \dots, x_{1} = H, θ) = P (x_{1} = H ∣ θ) = θ

$P(x_{11} = H \mid x_{10}=H, x_{9}=H, \ldots,x_{1}=H, \theta) = P(x_1 = H \mid \theta) = \theta$

$\theta$ $\theta$

Ulteriori note

Ho fatto del mio meglio per dare una breve introduzione qui, ma quello che ho fatto è, nella migliore delle ipotesi, abbastanza superficiale e i concetti sono in qualche modo piuttosto profondi. Se vuoi fare un tuffo nella filosofia della probabilità, il libro di Savage del 1954, Foundation of Statistics è un classico. Google per bayesiano contro frequentista e un sacco di cose verranno fuori.

Un altro modo di pensare ai disegni dell'IID è il teorema di de Finetti e la nozione di scambiabilità . In un quadro bayesiano, la scambiabilità è equivalente all'indipendenza subordinata a qualche variabile casuale latente (in questo caso, la sbilenco della moneta).

— Matthew Gunn
fonte

In sostanza, l'approccio bayesiano tratterebbe un'affermazione "iid variabili variabili" non come un assioma secondo cui devono essere IID, ma solo come un'ipotesi molto forte precedente che lo sono - e se prove ancora più forti suggeriscono che è estremamente improbabile che il dato le ipotesi sono vere, quindi questa "incredulità nelle condizioni date" si rifletterà nei risultati.

— Peteris,

Grazie mille per la tua risposta approfondita. L'ho votato a fondo, ma penso che la risposta di Sobi, sottolinei più esplicitamente dove si trova il problema, ovvero assumendo implicitamente la struttura del modello (o questo è per quanto ho capito)

— Cupitor

@Matthew Gunn: pulito, accurato e molto ben spiegato! Ho imparato alcune cose dalla tua risposta, grazie!

— Sobi,