Quali sono alcune applicazioni illustrative della probabilità empirica?

Ho sentito parlare della probabilità empirica di Owen, ma fino a poco tempo fa non ho prestato attenzione fino a quando non l'ho incontrato in un documento di interesse ( Mengersen et al. 2012 ).

Nei miei sforzi per capirlo, ho raccolto che la probabilità dei dati osservati è rappresentata come , dove e .

L = \prod_{i} p_{i} = \prod_{i} P (X_{i} = x) = \prod_{i} P (X_{i} \leq x) - P (X_{i} < x)

$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

p_{i} > 0

$p_i > 0$

Tuttavia, non sono stato in grado di fare il salto mentale collegando questa rappresentazione con come può essere usata per fare inferenze sulle osservazioni. Forse sono troppo radicato nel pensare a una probabilità rispetto ai parametri di un modello?

Indipendentemente da ciò, ho cercato su Google Scholar un documento che impiegava una probabilità empirica che mi avrebbe aiutato a interiorizzare il concetto ... senza risultato. Ovviamente, c'è il libro di Art Owen su Empirical Likelihood , ma Google Books lascia fuori tutte le cose squisite e sono ancora in procinto di ottenere un prestito interbibliotecario.

Nel frattempo, qualcuno può gentilmente indicarmi documenti e documenti che illustrano chiaramente la premessa della probabilità empirica e come viene impiegata? Sarebbe anche gradita una descrizione illustrativa della stessa EL!

— Sameer
fonte

Gli econometrici, in particolare, si sono innamorati di EL. Se stai cercando applicazioni , quella letteratura potrebbe essere uno dei posti migliori in cui cercare.

— cardinale il

Risposte:

Non riesco a pensare a un posto migliore del libro di Owen per conoscere la probabilità empirica.

Un modo pratico di pensare a è come la probabilità di una distribuzione multinomiale sui punti dati osservati . La probabilità è quindi una funzione del vettore di probabilità , lo spazio dei parametri è in realtà il simplex dimensionale dei vettori di probabilità e il MLE sta mettendo il peso su ciascuna delle osservazioni (supponendo che siano sono tutti diversi). La dimensione dello spazio dei parametri aumenta con il numero di osservazioni. $L = L(p_1, \ldots, p_n)$ $x_1, \ldots, x_n$ $(p_1, \ldots, p_n)$ $n$ $1/n$

Un punto centrale è che la probabilità empirica fornisce un metodo per calcolare gli intervalli di confidenza profilando senza specificare un modello parametrico. Se il parametro di interesse è la media, , allora per qualsiasi vettore di probabilità abbiamo che la media è e siamo in grado di calcolare la probabilità profilo come Quindi possiamo calcolare gli intervalli di confidenza del modulo con . Qui è la media empirica e $\mu$ $p = (p_1, \ldots, p_n)$

μ (p) = \sum_{i = 1}^{n} x_{i} p_{i},

$\mu(p) = \sum_{i=1}^n x_i p_i,$

L_{prof} (μ) = max {L (p) ∣ μ (p) = μ} .

$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$

I_{r} = {μ ∣ L_{prof} (μ) \geq r L_{prof} (\bar{x})}

$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$

r \in (0, 1)

$r \in (0,1)$

\bar{x}

$\bar{x}$

L_{prof} (\bar{x}) = n^{- n}

$L_{\text{prof}}(\bar{x}) = n^{-n}$ . Gli intervalli dovrebbero forse essere semplicemente chiamati (profilo) intervalli di probabilità poiché nessuna dichiarazione sulla copertura viene fatta in anticipo. Diminuendo gli intervalli (sì, sono intervalli) formano una famiglia di intervalli di confidenza nidificata e crescente. La teoria asintotica o il bootstrap possono essere usati per calibrare per ottenere una copertura del 95%, diciamo.

I_{r}

$I_r$

r

$r$

I_{r}

$I_r$

r

$r$

Il libro di Owen tratta questo in dettaglio e fornisce estensioni a problemi statistici più complicati e altri parametri di interesse.

— NRH
fonte

(+1) In mancanza di accesso al libro, si può sempre iniziare con gli articoli originali per ottenere le basi della teoria. Come il libro, anche i giornali sono scritti in modo abbastanza chiaro.

— cardinale il

Alcuni collegamenti: ( 1 ) A. Owen (1988), Intervalli di confidenza del rapporto di probabilità empirica per un singolo funzionale , Biometrika , vol. 75, n. 2, pagg. 237-249, ( 2 ) A. Owen (1990), regioni di confidenza del rapporto di verosimiglianza empirica , ann. Statist. , vol. 18, n. 1, pagg. 90-120 ( accesso aperto ) e ( 3 ) A. Owen (1991) Probabilità empirica per i modelli lineari , Ann. Statist. , vol. 19, n. 4, pagg. 1725-1747 ( accesso aperto ).

— cardinale il

@cardinal Fantastic! Avrei dovuto pensarci io stesso.

— Sameer,

@NHS Grazie per la tua spiegazione! Giusto per essere chiari, l' le ? Inoltre, puoi spiegare perché ? Dovrebbe forse essere ?

L_{p r o f} (μ)

$L_{prof}(\mu)$

a r g m a x

$argmax$

p

$p$

L_{p r o f} (\bar{x}) = n^{n}

$L_{prof}(\bar{x})=n^n$

\prod_{i} n^{- 1} = n^{- n}

$\prod_i n^{-1} = n^{-n}$

— Sameer,

@Sameer, l'errore di battitura ora è corretto. Tuttavia, è non è l'argmax. È la probabilità del profilo ottenuta massimizzando la probabilità su tutti i vettori di parametri con un dato valore di . A proposito, con un adeguato accesso universitario, ho ottenuto una versione elettronica dal CRC dei singoli capitoli del libro di Owen.

μ

$\mu$

— NRH,

In econometria, molti documenti applicati iniziano con l'ipotesi che dove è un vettore di dati, è un sistema noto di equazioni e è un parametro sconosciuto, . La funzione deriva da un modello economico. L'obiettivo è stimare .

E [g (X, θ)] = 0

$E[g(X,\theta)] = 0$

X

$X$

g

$g$

q

$q$

θ \in Θ \subseteq R^{p}

$\theta \in \Theta \subseteq \mathbb{R}^p$

q \geq p

$q \geq p$

g

$g$

θ

$\theta$

L'approccio tradizionale, in econometria, per la stima e l'inferenza su consiste nell'utilizzare un metodo di momenti generalizzato: dove è una matrice di ponderazione definita positiva e La probabilità empirica fornisce uno stimatore alternativo a GMM. L'idea è di imporre la condizione del momento come vincolo quando si massimizza la probabilità non parametrica. Innanzitutto, correggi un . Quindi risolvere soggetto a $\theta$

{\hat{θ}}_{GMM} = {argmin}_{θ \in Θ} {\bar{g}}_{n} (θ)^{'} W {\bar{g}}_{n} (θ)

$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$

W

$W$

{\bar{g}}_{n} (θ) := \frac{1}{n} \sum_{i = 1}^{n} g (X_{i}, θ) .

$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$

θ

$\theta$

L (θ) = max_{p_{1}, \dots, p_{n}} \prod_{i = 1}^{n} p_{i}

$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$

\sum_{i = 1}^{n} p_{i} = 1, p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} \cdot g (X_{i}, θ) = 0.

$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$ Questo è il ciclo interno '. Quindi massimizza su : Questo approccio ha dimostrato di avere proprietà di ordine superiore rispetto a GMM (vedi Newey and Smith 2004, Econometrica ), motivo per cui è preferibile GMM. Per ulteriori riferimenti, vedere le note e la conferenza di Imbens e Wooldridge qui (lezione 15).

θ

$\theta$

{\hat{θ}}_{EL} = {argmax}_{θ \in Θ} \log L (θ) .

$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$

Ci sono ovviamente molte altre ragioni per cui EL ha attirato l'attenzione in econometria, ma spero che questo sia un utile punto di partenza. I modelli di uguaglianza dei momenti sono molto comuni nell'economia empirica.

— Aelmore
fonte

Grazie per aver scritto una risposta così chiara e ben referenziata. Benvenuto nella nostra comunità!

— whuber

Nell'analisi di sopravvivenza, la curva di Kaplan-Meier è il più famoso stimatore non parametrico della funzione di sopravvivenza , dove indica la variabile casuale tempo-evento. Fondamentalmente, è una generalizzazione della funzione di distribuzione empirica che consente la censura. Può essere derivato euristicamente, come indicato nella maggior parte dei libri di testo pratici. Ma può anche essere formalmente derivato come uno stimatore di probabilità massimo (empirico). Ecco maggiori dettagli . $S(t) = Pr(T > t)$ $T$ $\hat{S}$

— OCRAM
fonte