Come definire rigorosamente la probabilità?

La probabilità potrebbe essere definita in diversi modi, ad esempio:

la funzione da che mappa a cioè . $L$ $\Theta\times{\cal X}$ $(\theta,x)$ $L(\theta \mid x)$ $L:\Theta\times{\cal X} \rightarrow \mathbb{R}$
la funzione casuale $L(\cdot \mid X)$
potremmo anche considerare che la probabilità è solo la probabilità "osservata" $L(\cdot \mid x^{\text{obs}})$
in pratica la probabilità porta informazioni su solo fino a una costante moltiplicativa, quindi potremmo considerare la probabilità come una classe di equivalenza di funzioni piuttosto che una funzione $\theta$

Un'altra domanda si pone quando si considera il cambiamento della parametrizzazione: se è la nuova parametrizzazione che comunemente denotiamo con la probabilità su e questa non è la valutazione della precedente funzione in ma in . Questa è una notazione abusiva ma utile che potrebbe causare difficoltà ai principianti se non viene enfatizzata. $\phi=\theta^2$ $L(\phi \mid x)$ $\phi$ $L(\cdot \mid x)$ $\theta^2$ $\sqrt{\phi}$

Qual è la tua definizione rigorosa preferita della probabilità?

Inoltre, come si chiama ? Di solito dico qualcosa come "la probabilità su quando si osserva ". $L(\theta \mid x)$ $\theta$ $x$

EDIT: Alla luce di alcuni commenti qui sotto, mi rendo conto che avrei dovuto precisare il contesto. Considero un modello statistico dato da una famiglia parametrica di densità rispetto ad alcune misure dominanti, con ciascuna definito nello spazio delle osservazioni . Quindi definiamo e la domanda è "cos'è ?" (la domanda non riguarda una definizione generale della probabilità) $\{f(\cdot \mid \theta), \theta \in \Theta\}$ $f(\cdot \mid \theta)$ ${\cal X}$ $L(\theta \mid x)=f(x \mid \theta)$ $L$

— Stéphane Laurent
fonte

(1) Poiché per tutti , credo che sia definita anche la costante in(2) Se pensate a parametri come e semplicemente come coordinate per una varietà di distribuzioni, allora il cambiamento di parametrizzazione non ha alcun significato matematico intrinseco; è semplicemente un cambio di descrizione. (3) I madrelingua inglesi direbbero più naturalmente "probabilità di " piuttosto che "on". (4) La clausola "quando si osserva " presenta difficoltà filosofiche, poiché la maggior parte di non verrà mai osservata. Perché non dire semplicemente "probabilità di dato

\int L (θ | x) d x = 1

$\int L(\theta|x)dx = 1$

θ

$\theta$

L

$L$

ϕ

$\phi$

θ

$\theta$

θ

$\theta$

x

$x$

x

$x$

θ

$\theta$

x

$x$ "?

— whuber

@whuber: Per (1), non credo che la costante sia ben definita. Vedi il libro di ET Jaynes dove scrive: "che una probabilità non è una probabilità perché la sua normalizzazione è arbitraria".

— Neil G,

Sembra che tu confonda due tipi di normalizzazione, Neil: Jaynes si riferiva alla normalizzazione mediante integrazione su , non su .

θ

$\theta$

x

$x$

— whuber

@whuber: Non credo che un fattore di ridimensionamento sia importante per il limite di Cramer-Rao perché la modifica di aggiunge una quantità costante alla probabilità di log, che poi scompare quando viene presa la derivata parziale.

k

$k$

— Neil G,

Sono d'accordo con Neil, non vedo alcuna applicazione in cui la costante abbia un ruolo

— Stéphane Laurent

Risposte:

Il tuo terzo oggetto è quello che ho visto più spesso usato come definizione rigorosa.

Anche gli altri sono interessanti (+1). In particolare il primo è interessante, con la difficoltà che la dimensione del campione non sia (ancora) definita, è più difficile definire il set "from".

Per me, l'intuizione fondamentale della probabilità è che sia una funzione del modello + i suoi parametri, non una funzione delle variabili casuali (anche un punto importante ai fini dell'insegnamento). Quindi mi atterrei alla terza definizione.

La fonte dell'abuso della notazione è che l'insieme "da" della probabilità è implicito, che di solito non è il caso di funzioni ben definite. Qui, l'approccio più rigoroso è rendersi conto che dopo la trasformazione, la probabilità si riferisce a un altro modello. È equivalente al primo, ma ancora un altro modello. Quindi la notazione di verosimiglianza dovrebbe mostrare a quale modello si riferisce (per pedice o altro). Ovviamente non lo faccio mai, ma per insegnare potrei.

Infine, per essere coerente con le mie precedenti risposte, dico la "probabilità di " nella tua ultima formula. $\theta$

— gui11aume
fonte

Grazie. E quali sono i tuoi consigli sull'uguaglianza fino a una costante moltiplicativa?

— Stéphane Laurent,

Personalmente preferisco richiamarlo quando necessario piuttosto che codificarlo nella definizione. E pensare che per la selezione / il confronto dei modelli questa uguaglianza "costante-moltiplicativa" non regge.

— gui11aume,

Ok. Per quanto riguarda il nome, potresti immaginare di discutere delle probabilità e per due possibili osservazioni. In tal caso, diresti "la probabilità di quando osservato", o "la probabilità di per l'osservazione " o qualcos'altro?

L (θ ∣ x_{1})

$L(\theta\mid x_1)$

L (θ ∣ x_{2})

$L(\theta\mid x_2)$

θ

$\theta$

x_{1}

$x_1$

θ

$\theta$

x_{1}

$x_1$

— Stéphane Laurent,

Se ri-parametrizzi il tuo modello con , in realtà calcoli la probabilità come una composizione delle funzioni Dove . In questo caso, va da a quindi l'insieme di definizioni (indicato come "da" set) della probabilità non è più lo stesso. È possibile chiamare la prima funzione E la seconda Perché non sono le stesse funzioni.

ϕ = θ^{2}

$\phi = \theta^2$

L (. | x) \circ g (.)

$L(.|x) \circ g(.)$

g (y) = y^{2}

$g(y) = y^2$

g

$g$

R

$R$

R^{+}

$R^+$

L_{1} (. |)

$L_1(.|)$

L_{2} (. |)

$L_2(.|)$

— gui11aume,

In che modo la terza definizione è rigorosa? E qual è il problema con la dimensione del campione non definita? Dato che diciamo , che porta naturalmente all'esistenza una corrispondente algebra sigma per lo spazio campione , perché non possiamo avere la definizione parallela per le probabilità?

P (x_{1}, x_{2}, \dots, x_{n} ∣ θ)

$P(x_1, x_2, \dotsc, x_n \mid \theta)$

Ω^{n}

$\Omega^n$

— Neil G,

Penso che lo definirei qualcosa di diverso. La verosimiglianza è la densità di probabilità per la x osservata dato il valore del parametro espresso in funzione di per la data . Non condivido l'opinione sulla costante di proporzionalità. Penso che entri in gioco solo perché massimizzare qualsiasi funzione monotonica della probabilità fornisce la stessa soluzione per . Quindi puoi massimizzare per o altre funzioni come che è comunemente fatto. $θ$ $θ$ $x$ $θ$ $cL(θ∣x)$ $c>0$ $\log(L(θ∣x))$

— Michael R. Chernick
fonte

Non solo la massimizzazione: l'up-to-proporzionalità entra in gioco anche nella nozione del rapporto di verosimiglianza e nella formula di Bayes per le statistiche bayesiane

— Stéphane Laurent,

Pensavo che qualcuno potesse sottovalutare la mia risposta. Ma penso che sia abbastanza ragionevole definire la verosimiglianza in questo modo come una probabilità definitiva senza definire una verosimiglianza con qualcosa di propizio. @ StéphaneLaurent al tuo commento sui priori, se la funzione è integrabile può essere normalizzata ad una densità. Il posteriore è proporzionale alla probabilità rispetto al precedente. Poiché il posteriore deve essere normalizzato dividendo per un integrale, potremmo anche specificare che il precedente sia la distribuzione. È solo in senso esteso che questo viene applicato a priori impropri.

— Michael R. Chernick,

Non sono del tutto sicuro del motivo per cui qualcuno dovrebbe sottovalutare questa risposta. Sembra che tu stia cercando di rispondere più al secondo e alle domande del PO che al primo. Forse questo non era del tutto chiaro per gli altri lettori. Saluti. :)

— cardinale

@Michael Non vedo la necessità di sottovalutare anche questa risposta. Per quanto riguarda i priori non informativi (questa è un'altra discussione e) intendo aprire una nuova delusione su questo argomento. Non lo farò presto, perché non sono facile con l'inglese, e per me è più difficile scrivere "filosofia" che matematica.

— Stéphane Laurent,

@Stephane: se vuoi, ti preghiamo di considerare di pubblicare la tua altra domanda direttamente in francese. Abbiamo diversi madrelingua francese su questo sito che probabilmente aiuterebbero a tradurre eventuali passaggi di cui non sei sicuro. Ciò include un moderatore e anche un editore di una delle migliori riviste di statistica in lingua inglese. Attendo con impazienza la domanda.

— cardinale il

Ecco un tentativo di una rigorosa definizione matematica:

Sia un vettore casuale che ammetta una densità rispetto a qualche misura su , dove per , è una famiglia di densità su rispetto a . Quindi, per ogni definiamo la funzione di verosimiglianza da ; per chiarezza, per ogni abbiamo . Si può pensare che sia un potenziale particolare $X: \Omega \to \mathbb R^n$ $f(x | \theta_0)$ $\nu$ $\mathbb R^n$ $\theta \in \Theta$ $\{f(x|\theta): \theta \in \Theta\}$ $\mathbb R^n$ $\nu$ $x \in \mathbb R^n$ $L(\theta | x)$ $f(x | \theta)$ $x$ $L_x : \Theta \to \mathbb R$ $x$ $x_{obs}$ e sono il valore "vero" di . $\theta_0$ $\theta$

Un paio di osservazioni su questa definizione:

La definizione è abbastanza robusto per gestire discrete, continue, e altri tipi di famiglie di distribuzioni per . $X$
Stiamo definendo la probabilità a livello di funzioni di densità anziché a livello di distribuzioni / misure di probabilità. La ragione di ciò è che le densità non sono uniche e si scopre che questa non è una situazione in cui si può passare a classi di densità di densità ed essere ancora sicuri: scelte diverse di densità portano a MLE diverse nel caso continuo. Tuttavia, nella maggior parte dei casi esiste una scelta naturale della famiglia di densità che sono teoricamente desiderabili.
Mi piace questa definizione perché incorpora in essa le variabili casuali con cui stiamo lavorando e, dal punto di vista del design, poiché dobbiamo assegnare loro una distribuzione, abbiamo anche rigorosamente costruito la nozione del valore "vero ma sconosciuto" di , qui denotato . Per me, come studente, la sfida di essere rigoroso riguardo alla probabilità era sempre quella di conciliare i concetti del mondo reale di un "vero" e "osservato" con la matematica; questo spesso non è stato aiutato dagli istruttori che affermavano che questi concetti non erano formali, ma poi si voltavano e li usavano formalmente per provare le cose! Quindi li trattiamo formalmente in questa definizione. $\theta$ $\theta_0$ $\theta$ $x_{obs}$
EDIT: Certo, siamo liberi di considerare i soliti elementi casuali , e e sotto questa definizione senza reali problemi con rigore come fintanto che stai attento (o anche se non lo sei se quel livello di rigore non è importante per te). $L(\theta | X)$ $S(\theta | X)$ $\mathcal I(\theta | X)$

— tipo
fonte

@ Xi'an Lascia che sia uniforme su . Considera due densità contro . Sia che sono densità valide per , ma sotto l'MLE esiste ed è uguale a mentre sotto abbiamo quindi che se imposti con una probabilità di , e in effetti il MLE non esiste perché

X_{1}, . . ., X_{n}

$X_1, ..., X_n$

(0, θ)

$(0, \theta)$

f_{1} (x) = θ^{- 1} I [0 < x < θ]

$f_1 (x) = \theta^{-1} I[0 < x < \theta]$

f_{2} (x) = θ^{- 1} I [0 \leq x \leq θ]

$f_2 (x) = \theta^{-1} I[0 \le x \le \theta]$

f_{1}

$f_1$

f_{2}

$f_2$

U (0, θ)

$\mathcal U(0, \theta)$

f_{2}

$f_2$

max X_{i}

$\max X_i$

f_{1}

$f_1$

\prod_{j} f_{1} (x_{j} | max x_{i}) = 0

$\prod _j f_1 (x_j| \max x_i) = 0$

\hat{θ} = max X_{i}

$\hat \theta = \max X_i$

0

$0$

sup_{θ} \prod_{j} f_{1} (x | θ)

$\sup _\theta \prod _j f_1(x | \theta)$ non viene raggiunto per nessun .

θ

$\theta$

— ragazzo,

@guy: grazie, non sapevo di questo interessante contro-esempio.

— Xi'an,

@guy Hai detto che non si ottiene per nessun . Tuttavia, questo supremum è raggiunto ad un certo punto come mostro di seguito: dove . che per tutti . È semplice vedere che 1. , se ; 2. , se . Continua ...

sup_{θ} \prod_{j} f_{1} (x_{j} | θ)

$\sup_\theta \prod_j f_1(x_j| \theta)$

θ

$\theta$

L_{1} (θ; x) = \prod_{j = 1}^{n} f_{1} (x_{j} | θ) = θ^{- n} \prod_{j = 1}^{n} I (0 < x_{j} < θ) = θ^{- n} I (0 < M < θ),

$L_1(\theta;x) = \prod_{j=1}^n f_1(x_j|\theta) = \theta^{-n} \prod_{j=1}^n I\big(0 < x_j < \theta\big) = \theta^{-n}I\big(0< M < \theta\big),$

M = max {x_{1}, \dots, x_{n}}

$M = \max \{x_1, \ldots, x_n\}$

x_{j} > 0

$x_j > 0$

j = 1, \dots, n

$j=1,\ldots,n$

L_{1} (θ; x) = 0

$L_1(\theta;x) = 0$

0 < θ \leq M

$0<\theta \leq M$

L_{1} (θ; x) = θ^{- n}

$L_1(\theta;x) = \theta^{-n}$

M < θ < \infty

$M < \theta < \infty$

— Alexandre Patriota,

@guy: continuando ... Cioè, per tutti . Non abbiamo un valore massimo ma il supremum esiste ed è dato da e l'argomento è Forse, i soliti asintotici non vengono applicati qui e alcuni altri pedaggi dovrebbero essere impiegati. Ma il supremum di esiste o mi sono persi alcuni concetti basilari.

L_{1} (θ; x) \in [0, M^{- n}),

$L_1(\theta;x) \in \big[0,M^{-n}\big),$

θ \in (0, \infty)

$\theta \in (0,\infty)$

sup_{θ \in (0, \infty)} L_{1} (θ, x) = M^{- n}

$\sup_{\theta \in (0,\infty)} L_1(\theta, x) = M^{-n}$

M = \arg sup_{θ \in (0, \infty)} L_{1} (θ; x) .

$M = \arg\sup_{\theta \in (0,\infty)} L_1(\theta;x).$

L_{1} (θ; x)

$L_1(\theta;x)$

— Alexandre Patriota,

@AlexandrePatriota Il supremum esiste, ovviamente, ma non è raggiunto dalla funzione. Non sono sicuro di cosa significhi la notazione - non c'è argomento di che produce perché . Il MLE è definito come qualsiasi che raggiunge il (in genere) e nessun raggiunge il qui. Ovviamente ci sono dei modi per aggirarlo: gli asintotici a cui facciamo appello richiedono che esista una probabilità con tali e tali proprietà, e non esiste. È solo anziché .

\arg sup

$\arg \sup$

L_{1} (θ; x)

$L_1(\theta; x)$

sup

$\sup$

L_{1} (θ; M) = 0

$L_1(\theta; M) = 0$

\hat{θ}

$\hat \theta$

sup

$\sup$

\hat{θ}

$\hat \theta$

sup

$\sup$

L_{2}

$L_2$

L_{1}

$L_1$

— ragazzo