Inferenza statistica sotto errata specificazione

Il trattamento classico dell'inferenza statistica si basa sul presupposto che esista una statistica correttamente specificata. Cioè, la distribuzione che ha generato i dati osservati fa parte del modello statistico : Tuttavia, nella maggior parte dei casi non possiamo supporre che ciò sia veramente vero. Mi chiedo cosa succede con le procedure di inferenza statistica se abbandoniamo l'assunto correttamente specificato. $\mathbb{P}^*(Y)$ $y$ $\mathcal{M}$

P^{*} (Y) \in M = {P_{θ} (Y) : θ \in Θ}

$\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\}$

Ho trovato un lavoro di White 1982 su stime ML sotto errate specifiche. In esso si sostiene che lo stimatore della massima verosimiglianza sia uno stimatore coerente per la distribuzione che minimizza la divergenza KL rispetto a tutte le distribuzioni all'interno del modello statistico e la vera distribuzione .

P_{θ_{1}} = \arg min_{P_{θ} \in M} K L (P^{*}, P_{θ})

$\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)$

P^{*}

$\mathbb{P}^*$

Che cosa succede agli stimatori di fiducia? Ricapitoliamo gli stimatori del set di confidenza. Sia $\delta:\Omega_Y \rightarrow 2^\Theta$ essere uno stimatore di set, dove $\Omega_Y$ è lo spazio di campionamento e $2^\Theta$ la potenza impostata sullo spazio dei parametri $\Theta$ . Quello che vorremmo sapere è la probabilità dell'evento che gli insiemi prodotti da $\delta$ includano la vera distribuzione $\mathbb{P}^*$ , ovvero

P^{*} (P^{*} \in {P_{θ} : θ \in δ (Y)}) := A .

$\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A.$

Tuttavia, ovviamente non conosciamo la vera distribuzione $\mathbb{P}^*$ . L'assunto correttamente specificato ci dice che $\mathbb{P}^* \in \mathcal{M}$ . Tuttavia, non sappiamo ancora quale distribuzione del modello sia. Ma,

inf_{θ \in Θ} P_{θ} (θ \in δ (Y)) := B

$\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B$ è un limite inferiore per la probabilità

A

$A$ . L'equazione

B

$B$ è la definizione classica del livello di confidenza per uno stimatore del set di confidenza.

Se abbandoniamo il presupposto correttamente specificato, $B$ non è necessariamente un limite inferiore per $A$ , il termine a cui siamo effettivamente interessati, più. In effetti, se assumiamo che il modello sia errato, il che è probabilmente il caso della maggior parte delle situazioni realistiche, $A$ è 0, perché la vera distribuzione $P^*$ non è contenuta nel modello statistico $\mathcal{M}$ .

Da un'altra prospettiva si potrebbe pensare a cosa si riferisce $B$ quando il modello non è specificato correttamente. Questa è una domanda più specifica. Fa $B$ hanno ancora un senso, se il modello è misspecified. In caso contrario, perché ci preoccupiamo anche delle statistiche parametriche?

Immagino che White 1982 contenga alcuni risultati su questi temi. Sfortunatamente, la mia mancanza di background matematico mi impedisce di capire molto di ciò che è scritto lì.

— Julian Karls
fonte

Ho trovato questa domanda + risposta stats.stackexchange.com/questions/149773/… . È molto simile La lettura di questi libri porterebbe probabilmente a una risposta a questa domanda. Tuttavia, penso ancora che un riassunto di qualcuno che lo abbia già fatto sarebbe molto utile.

— Julian Karls,

È un peccato che questa domanda non abbia generato più interesse: il link di Julian ha del materiale interessante, ma sarei interessato a sentire più pensieri in merito.

— Florian Hartig,

Di solito, ciò che viene fatto è che la distribuzione della statistica del test viene calcolata secondo l'ipotesi nulla ipotizzando che il modello statistico sia corretto. Se il valore p è abbastanza basso, si può concludere che ciò è dovuto al caso o che il valore nullo è falso. Se il modello è specificato in modo errato, tuttavia, anche questa è una conclusione che potrebbe essere logicamente disegnata. Lo stesso vale per tutte le altre inferenze: il fatto che il modello sia specificato in modo errato fornisce una conclusione alternativa. Ecco come ci penso basandomi sulla lettura del lavoro di Spanos.

— Toby,

In sostanza, tutti i modelli sono sbagliati. Aiuta a sviluppare quantitativamente la mancata specificazione. Per un'immagine, l'errata specificazione è un'errata registrazione. Ad esempio, per il conteggio degli errori (ad es. Da decadimento radioattivo) per un numero sufficiente di conteggi, l'errore viene distribuito in Poisson. In tal caso, la registrazione errata di una serie temporale è l'errore dell'asse y della radice quadrata dell'immagine e il rumore è in quelle stesse unità. Esempio qui .

— Carl,

Risposte:

Sia i dati osservati che si presume siano la realizzazione di una sequenza di variabili casuali iid con funzione di densità di probabilità comune definita rispetto a una misura sigma-finita . La densità è chiamata densità DGP (Data Generating Process). $y_1, \ldots, y_n$ $Y_1, \ldots, Y_n$ $p_e$ $\nu$ $p_e$

Nel modello di probabilità del ricercatore è una raccolta di funzioni di densità di probabilità che sono indicizzate da un vettore di parametri . Supponiamo che ogni densità in sia definita rispetto ad una comune misura sigma-finita (ad esempio, ogni densità potrebbe essere una funzione di massa di probabilità con lo stesso spazio campione ). ${\cal M} \equiv \{ p(y ; \theta) : \theta \in \Theta \}$ $\theta$ ${\cal M}$ $\nu$ $S$

È importante mantenere la densità che ha effettivamente generato i dati concettualmente distinti dal modello di probabilità dei dati. Nei trattamenti statistici classici un'attenta separazione di questi concetti viene o ignorata, non fatta, o si presuppone fin dall'inizio che il modello di probabilità sia correttamente specificato. $p_e$

Un modello ${\cal M}$ correttamente specificato rispetto a $p_e$ è definito come un modello dove $p_e \in {\cal M}$ $\nu$ quasi ovunque. Quando ${\cal M}$ è misspecified rispetto al $p_e$ Questo corrisponde al caso in cui il modello di probabilità non è specificata correttamente.

Se il modello di probabilità è correttamente specificato, allora esiste un $\theta^*$ nello spazio dei parametri $\Theta$ tale che $p_e(y) = p(y ; \theta^*)$ $\nu$ quasi ovunque. Tale vettore di parametri viene chiamato "vettore di parametri vero". Se il modello di probabilità non è specificato correttamente, il vettore dei parametri vero non esiste.

All'interno quadro modello di corretta specificazione del bianco l'obiettivo è quello di trovare il parametro di stima che minimizza su alcune compatto spazio dei parametri . Si presume che un minimizer unico rigoroso globale, , del valore atteso di on si trova nella parte interna della $\hat{\theta}_n$ $\hat{\ell}_n({\theta}) \equiv (1/n) \sum_{i=1}^n \log p(y_i ; { \theta})$ $\Theta$ $\theta^*$ $\hat{\ell}_n$ $\Theta$ $\Theta$ . Nel caso fortunato in cui il modello di probabilità è correttamente specificato, $\theta^*$ può essere interpretato come il "valore del parametro vero".

Nel caso particolare in cui il modello di probabilità è specificato correttamente, allora è la stima di massima verosimiglianza familiare. Se non sappiamo avere una conoscenza assoluta che il modello di probabilità sia correttamente specificato, allora è chiamato a un rischio stima di quasi-massima e l'obiettivo è quello di stimare . Se siamo fortunati e il modello di probabilità è correttamente specificato, la stima della probabilità quasi massima si riduce come un caso speciale alla stima della probabilità massima familiare e diventa il valore del parametro vero. $\hat{\theta}_n$ $\hat{\theta}_n$ $\theta^*$ $\theta^*$

La coerenza nel quadro di White (1982) corrisponde alla convergenza a $\theta^*$ senza richiedere che $\theta^*$ sia necessariamente il vero vettore di parametri. Nel quadro di White, non stimeremmo mai la probabilità dell'evento che gli insiemi prodotti da δ includano la VERA distribuzione P *. Invece, stimeremmo sempre la distribuzione di probabilità P ** che è la probabilità dell'evento che gli insiemi prodotti da δ includano la distribuzione specificata dalla densità $p(y ; \theta^*)$ .

Infine, alcuni commenti sulla mancata specificazione del modello. È facile trovare esempi in cui un modello non specificato è estremamente utile e molto predittivo. Ad esempio, si consideri un modello di regressione non lineare (o anche un lineare) con un termine di errore residuo gaussiano la cui varianza è estremamente piccola, ma l'errore residuo effettivo nell'ambiente non è gaussiano.

È anche facile trovare esempi in cui un modello correttamente specificato non è utile e non predittivo. Ad esempio, si consideri un modello di camminata casuale per prevedere i prezzi delle azioni che prevede che il prezzo di chiusura di domani sia una somma ponderata del prezzo di chiusura di oggi e del rumore gaussiano con una varianza estremamente ampia.

Lo scopo del framework di errata specificazione del modello non è garantire la validità del modello, ma piuttosto garantire l'affidabilità. In altre parole, assicurarsi che l'errore di campionamento associato alle stime dei parametri, agli intervalli di confidenza, ai test di ipotesi e così via sia stimato correttamente, nonostante la presenza di una piccola o grande quantità di errata specifica del modello. Le stime della verosimiglianza quasi massima sono asintoticamente normali centrate su $\theta^*$ con uno stimatore a matrice di covarianza che dipende sia dalla prima che dalla seconda derivata della funzione di verosimiglianza negativa. Nel caso speciale in cui sei fortunato e il modello è corretto, tutte le formule si riducono al quadro statistico classico familiare in cui l'obiettivo è stimare i valori dei parametri "veri".

— RMG
fonte

$\Theta$ $\mathcal{M}$ $\mathbb{P}_{\theta_1}$ $\mathbb{P}^*$ $\mathcal{M}$ $\mathbb{P}_{\theta_1}$

$A$ $B$ $A$ $\mathbb{P}^* \notin \mathcal{M}$ $A = 0$

A^{*} \equiv A^{*} (Y) \equiv P^{*} (P_{θ_{1}} \in {P_{θ} | θ \in δ (Y)}) .

$A^* \equiv A^*(Y) \equiv \mathbb{P}^* (\mathbb{P}_{\theta_1} \in \{P_\theta | \theta \in \delta(Y) \} ).$

$\mathbb{P}^*$ $\mathcal{M}$ $\mathbb{P}^* \notin \mathcal{M}$ $\mathbb{P}_{\theta_1} \in \mathcal{M}$

$\mathbb{P}_{\theta_1}$ $\delta$ $A^*$ $n \rightarrow \infty$ . Se riesci a stabilire un limite inferiore (positivo) o un risultato di convergenza (positivo), questo ti dà un certo valore nel garantire che, anche in caso di errata specificazione, è comunque possibile stimare correttamente il proxy più vicino con un certo livello di probabilità. Consiglierei di esplorare questi problemi, seguendo il tipo di analisi fatta da White.

— Ripristina Monica
fonte