Cosa c'è di così fico nel teorema della rappresentazione di De Finetti?

Da Theory of Statistics di Mark J. Schervish (pagina 12):

Sebbene il teorema di rappresentazione di DeFinetti 1.49 sia fondamentale per motivare modelli parametrici, in realtà non viene utilizzato nella loro implementazione.

In che modo il teorema è centrale nei modelli parametrici?

— gui11aume
fonte

Penso che sia fondamentale per i modelli bayesiani. Ne stavo solo discutendo con singleton. La sua importanza nelle statistiche bayesiane viene trascurata se non da quei bayesiani che erano seguaci di deFinetti. Vedi questo riferimento di Diaconis e Freedman del 1980

— Michael Chernick,

@cardinal: pagina 12 (ho aggiornato la domanda).

— gui11aume,

Nota che Schervish ha detto "... centrale per

motivating

$\textbf{motivating}$ modelli parametrici ...".

— Zen,

Mi sono spesso chiesto quanto della rappresentazione sia "reale" e quanto si basi su particolari interpretazioni del teorema. Può essere usato altrettanto facilmente per descrivere una distribuzione precedente come per descrivere un modello.

— Probislogic,

Risposte:

Il Teorema della Rappresentazione di De Finetti fornisce in un'unica interpretazione, nell'ambito dell'interpretazione soggettivistica delle probabilità, la ragion d'essere dei modelli statistici e il significato dei parametri e delle loro precedenti distribuzioni.

Supponiamo che le variabili casuali rappresentino i risultati di lanci successivi di una moneta, con i valori e corrispondenti ai risultati "Testa" e "Code", rispettivamente. Analizzando, nel contesto di un'interpretazione soggettivistica del calcolo della probabilità, il significato del solito modello frequentista secondo il quale gli sono indipendenti e identicamente distribuiti, De Finetti ha osservato che la condizione di indipendenza implicherebbe, ad esempio, che $X_1,\dots,X_n$ $1$ $0$ $X_i$ E, di conseguenza, i risultati del primo lanci sarebbero non cambiare la mia incertezza circa il risultato di -esimo lancio. Ad esempio, se credo che si tratta di una moneta bilanciata, quindi, dopo aver ottenuto le informazioni che i primi lanci si sono rivelati "teste", continuerei a credere, condizionatamente a tali informazioni, che la probabilità di ottenere " teste" a lancio 1000 è pari a . In effetti, l'ipotesi di indipendenza della 's implicherebbe che è impossibile conoscere nulla circa la moneta osservando i risultati delle sue lanci.

P {X_{n} = x_{n} ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = P {X_{n} = x_{n}},

$P\{X_n=x_n\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = P\{X_n=x_n\} \, ,$

n - 1

$n-1$

n

$n$

a priori

$\textit{a priori}$

999

$999$

1 / 2

$1/2$

X_{i}

$X_i$

Questa osservazione ha portato De Finetti all'introduzione di una condizione più debole dell'indipendenza che risolve questa apparente contraddizione. La chiave della soluzione di De Finetti è una sorta di simmetria distributiva nota come scambiabilità.

Per un dato insieme finito di oggetti casuali, lasciate denotare la loro distribuzione congiunta. Questo set finito è scambiabile se , per ogni permutazione $\textbf{Definition.}$ $\{X_i\}_{i=1}^n$ $\mu_{X_1,\dots,X_n}$ $\mu_{X_1,\dots,X_n} = \mu_{X_{\pi(1)},\dots,X_{\pi(n)}}$ . Una sequenza di oggetti casuali è scambiabile se ciascuno dei suoi sottoinsiemi finiti è scambiabile. $\pi:\{1,\dots,n\}\to\{1,\dots,n\}$ $\{X_i\}_{i=1}^\infty$

$\{X_i\}_{i=1}^\infty$ $X_i$ $0$ $1$ $\{X_i\}_{i=1}^\infty$ $\Theta:\Omega\to[0,1]$ $\mu_\Theta$

P {X_{1} = x_{1}, \dots, X_{n} = x_{n}} = \int_{[0, 1]} θ^{s} (1 - θ)^{n - s} d μ_{Θ} (θ),

$P\{X_1=x_1,\dots,X_n=x_n\} = \int_{[0,1]} \theta^s(1-\theta)^{n-s}\,d\mu_\Theta(\theta) \, ,$

s = \sum_{i = 1}^{n} x_{i}

$s=\sum_{i=1}^n x_i$

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \to_{n \to \infty}^{} Θ almost surely,

$\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \xrightarrow[n\to\infty]{} \Theta \qquad \textrm{almost surely},$

$\{X_i\}_{i=1}^\infty$ $\textbf{there is}$ $\textit{parameter}$ $\Theta$ $\Theta$ $\textit{conditionally}$ $\Theta$ $\mu_\Theta$ $\bar{X}_n$ $X_i$ $\Theta$

P {X_{n} = 1 ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}} = E [Θ ∣ X_{1} = x_{1}, \dots, X_{n - 1} = x_{n - 1}] .

$P\{X_n=1\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\} = \mathrm{E}\left[\Theta\mid X_1=x_1,\dots,X_{n-1}=x_{n-1}\right] \, .$

— zen
fonte

Grazie per questa risposta perspicace! Il tuo punto sull'indipendenza è molto importante che realizzo per la prima volta.

— gui11aume,

("un utile" era meglio :))

— Neil G

Θ

$\Theta$

Θ

$\Theta$

X_{i}

$X_i$

E [θ^{s} (1 - θ)^{s}] = E [P (X_{i} = x_{i} \forall i | θ)]

$E [\theta^s (1-\theta)^s] = E[P(X_i = x_i \, \forall \, i | \theta) ]$

θ

$\theta$

Pr {X_{1} = x_{1}, \dots, X_{n} = x_{n} ∣ Θ = θ}

$\Pr\{X_1=x_1,\dots,X_n=x_n\mid\Theta=\theta\}$

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

X_{i}

$X_i$

Θ = θ

$\Theta=\theta$

@Zen Grazie! Capisco la prima frase, tuttavia la parte "poiché si considera "non mi è ancora chiaro. Come fai a sapere che fattori in questo modo? Sembra che stai abbandonando il valore atteso dall'identità che ho scritto nel mio commento precedente, ma non sono sicuro di come sia giustificato.

\prod_{i = 1}^{n} Pr {X_{i} = x_{i} ∣ Θ = θ} = \prod_{i = 1}^{n} θ^{x_{i}} (1 - θ)^{1 - x_{i}}

$\prod_{i=1}^n \Pr\{X_i=x_i\mid\Theta=\theta\}=\prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}$

— user795305,

Tutto è matematicamente corretto nella risposta dello Zen. Tuttavia non sono d'accordo su alcuni punti. Si prega di essere consapevoli del fatto che non pretendo / credo che il mio punto di vista sia quello buono; al contrario, ritengo che questi punti non siano ancora del tutto chiari per me. Queste sono domande alquanto filosofiche di cui mi piace discutere (e un buon esercizio di inglese per me), e sono anche interessato a qualsiasi consiglio.

Sull'esempio con "Heads", il commento Zen: "l'ipotesi di indipendenza degli implicherebbe l'impossibilità di imparare qualcosa sulla moneta osservando i risultati dei suoi lanci". Questo non è vero dal punto di vista del frequentatore: apprendere la moneta significa apprendere su , che è possibile stimando (punto-stima o intervallo di confidenza) dai precedenti risultati . Se il frequentatore osserva "Heads", conclude che è probabilmente vicino a , e quindi anche conseguenza. $999$ $X_i$ $\theta$ $\theta$ $999$ $999$ $\theta$ $1$ $\Pr(X_n=1)$
A proposito, in questo esempio di lancio delle monete, qual è il casuale ? Immaginando che ciascuna delle due persone giochi a un lancio di monete un numero infinito di volte con la stessa medaglia, perché dovrebbero trovare un diverso ? Ho in mente che la caratteristica del lancio della moneta è il fisso che è il valore comune di per qualsiasi giocatore ("quasi ogni giocatore" per motivi matematici tecnici). Un esempio più concreto per il quale non esiste un interpretabile random è il caso di un campionamento casuale con sostituzione in una popolazione finita di e . $\Theta$ $\theta = \bar X_\infty$ $\theta$ $\bar X_\infty$ $\Theta$ $0$ $1$
A proposito del libro di Schervish e della domanda sollevata dall'OP, penso che (in breve tempo) Schervish significhi che la scambiabilità è un presupposto "cool" e quindi il teorema di deFinetti è "cool" perché afferma che ogni modello intercambiabile ha una rappresentazione parametrica. Ovviamente sono totalmente d'accordo. Tuttavia, se presumo un modello intercambiabile come e allora sarebbe interessato nell'eseguire inferenza circa e , non alla realizzazione di . Se sono interessato solo alla realizzazione di allora non vedo alcun interesse nell'ipotizzare scambiabilità. $(X_i\mid\Theta=\theta)\sim_\text{iid} \text{Bernoulli}(\theta)$ $\Theta \sim \text{Beta}(a,b)$ $a$ $b$ $\Theta$ $\Theta$

È tardi...

— Stéphane Laurent
fonte

Ciao Stéphane! Grazie per i tuoi commenti sulla mia risposta. A proposito del tuo primo punto che , nella mia risposta tutto è dichiarato in un contesto bayesiano. Non esiste un vero tentativo di stabilire un contrasto con altri paradigmi di inferenza. In breve, ho cercato di esprimere ciò che il teorema di De Finetti significa per me, come bayesiano.

"this is not true from the frequentist perspective"

$\textbf{"this is not true from the frequentist perspective"}$

— Zen,

A proposito del tuo secondo proiettile: il casuale è (come) il limite di , come indicato nella LLN di De Finetti. Quindi, quando alcuni bayesiani affermano che il mio precedente per è , significa che questa distribuzione rappresenta la sua incertezza su questo limite, prima di avere accesso ai dati. Bayesiani diversi possono avere diversi priori, ma, con adeguate condizioni di regolarità, avranno accordo su (posizioni simili), poiché ottengono sempre più informazioni sui risultati dei lanci.

Θ

$\Theta$

{\bar{X}}_{n}

$\bar{X}_n$

Θ

$\Theta$

μ_{Θ}

$\mu_\Theta$

a posteriori

$\textit{a posteriori}$

Θ

$\Theta$

— Zen,

Il fisso ma sconosciuto non è un concetto bayesiano.

θ

$\theta$

— Zen,

A proposito del tuo terzo proiettile, dato: 1) Che Schervish è uno statistico bayesiano; 2) La quantità di tempo e di energia che trascorre discutendo della scambiabilità nel suo libro; Credo che per lui il ruolo del teorema di De Finetti sia molto profondo, andando ben oltre la freddezza. Ma sono d'accordo che è molto bello, comunque!

— Zen,

Per chiarire il mio punto di vista: non credo che ci sia un casuale in un modello bayesiano "di base" (non gerarchico). Esiste un sconosciuto fisso e la distribuzione precedente ne descrive la convinzione. Il ruolo della variabile casuale è solo il trattamento matematico dell'inferenza bayesiana, non ha alcuna interpretazione nell'esperimento. Se si assume davvero osservazioni intercambiabili ma non indipendenti, come l'esempio del mio terzo punto, allora bisogna mettere hyperpriors su e .

θ

$\theta$

θ

$\theta$

Θ

$\Theta$

a

$a$

b

$b$

— Stéphane Laurent,

Potreste essere interessati a un articolo su questo argomento (è richiesto l'abbonamento al diario per l'accesso - provate ad accedervi dalla vostra università):

O'Neill, B. (2011) Scambiabilità, correlazione ed effetto di Bayes. Revisione statistica internazionale 77 (2), pagg. 241-250.

Questo documento discute il teorema della rappresentazione come base per entrambi i modelli IID bayesiano e frequentista, e lo applica anche ad un esempio di lancio di monete. Dovrebbe chiarire la discussione sulle ipotesi del paradigma frequentista. In realtà usa un'estensione più ampia del teorema della rappresentazione che va oltre il modello binomiale, ma dovrebbe comunque essere utile.

— Statistiche
fonte

C'è forse una versione di questo documento che hai? Non ho accesso atm :-(

— IMA

@Stats Ho letto quel documento dopo aver visto la tua risposta. Devo dire che questo è il miglior documento che illustra Bayesiano e Frequentista su quel tema che io abbia mai visto. Vorrei aver letto questo documento molto prima. (+1)

— KevinKim,