Inferenza statistica sotto errata specificazione del modello

Ho una domanda metodologica generale. Potrebbe aver ricevuto risposta prima, ma non sono in grado di individuare il thread pertinente. Apprezzerò i puntatori a possibili duplicati.

( Eccone uno eccellente, ma senza risposta. Anche questo è simile nello spirito, anche con una risposta, ma quest'ultimo è troppo specifico dal mio punto di vista. Anche questo è vicino, scoperto dopo aver pubblicato la domanda.)

Il tema è come fare un'inferenza statistica valida quando il modello formulato prima di vedere i dati non riesce a descrivere adeguatamente il processo di generazione dei dati . La domanda è molto generale, ma offrirò un esempio particolare per illustrare il punto. Tuttavia, mi aspetto che le risposte si focalizzino sulla questione metodologica generale piuttosto che sulla nitidezza dei dettagli del particolare esempio.

Considera un esempio concreto: in un'impostazione di serie temporali, presumo che il processo di generazione dei dati sia con . Mi propongo di verificare l'ipotesi sull'argomento che . Lo scrivo in termini di modello per ottenere una controparte statistica praticabile della mia ipotesi sull'argomento, e questo è Fin qui tutto bene. Ma quando osservo i dati, scopro che il modello non li descrive adeguatamente. Diciamo che esiste una tendenza lineare, quindi il vero processo di generazione dei dati è con

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ .

Come posso fare un'inferenza statistica valida sulla mia ipotesi sull'argomento ? $\frac{dy}{dx}=1$

Se uso il modello originale, i suoi presupposti vengono violati e lo stimatore di non ha la buona distribuzione che altrimenti farebbe. Pertanto, non posso verificare l'ipotesi usando il test . $\beta_1$ $t$
Se, visti i dati, passo dal modello a e cambio la mia ipotesi statistica da a , le ipotesi del modello sono soddisfatte e io ottiene uno stimatore ben educato di e può testare senza difficoltà usando il test . Tuttavia, il passaggio da a $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ è informato dal set di dati su cui desidero verificare l'ipotesi. Ciò rende la distribuzione dello stimatore (e quindi anche l'inferenza) subordinata alla modifica del modello sottostante, dovuta ai dati osservati. Chiaramente, l'introduzione di tale condizionamento non è soddisfacente.

C'è una buona via d'uscita? (Se non frequentatore, forse qualche alternativa bayesiana?)

modeling inference misspecification

— Richard Hardy
fonte

Il tuo disagio è endemico degli approcci classici per l'assegnazione dei dottorati: attenta specifica delle ipotesi, seguita da un test empirico e termina con inferenza causale descrittiva. In questo mondo, la risposta breve è "no", non c'è via d'uscita. Tuttavia, il mondo si sta evolvendo da quel rigido paradigma. Ad esempio, in un articolo dell'AER dell'anno scorso intitolato Prediction Policy Problems di Kleinberg, et al., Sostengono l'estrazione e la previsione dei dati come strumenti utili nella definizione delle politiche economiche, citando casi in cui "l'inferenza causale non è centrale, o addirittura necessario." Vale la pena dare un'occhiata.

— Mike Hunter,

A mio avviso, la risposta diretta dovrebbe essere che non c'è via d'uscita. Altrimenti, saresti colpevole del peggior tipo di data mining - riformulare le ipotesi per adattarlo ai dati - un'offesa capitale in un mondo rigoroso e paradigmatico.

— Mike Hunter,

Se ho capito bene, stai raccogliendo dati, quindi selezionando un modello e quindi testando le ipotesi. Potrei sbagliarmi, ma mi sembra che il paradigma dell'inferenza selettiva indagato da Taylor e Tibshirani (tra gli altri) potrebbe essere correlato al tuo problema. Altrimenti, commenti, risposte e risposte collegate a questa domanda potrebbero essere di interesse.

— DeltaIV

@DeltaIV, cioè, quando faccio l'inferenza, non sono interessato ai parametri meno falsi come nella coerenza P, ma piuttosto sono interessato a quelli veri (la vera derivata parziale di wrt ).

y

$y$

x

$x$

— Richard Hardy,

@RichardHardy, certo, nonostante sia uno studente di statistica non credo più nell'inferenza. È un castello di carte così fragile che non è chiaro se sia significativo se non in circostanze molto rigide e controllate. La cosa divertente è che tutti lo sanno, ma a nessuno (bene) importa.

— Hejseb

Risposte:

La via d'uscita è letteralmente fuori dal test del campione, una vera. Non quello in cui hai diviso il campione in allenamento e resisti come nella crossvalidation, ma la vera previsione. Funziona molto bene nelle scienze naturali. In effetti è l'unico modo in cui funziona. Costruisci una teoria su alcuni dati, quindi ti viene in mente una previsione di qualcosa che non è stato ancora osservato. Ovviamente, questo non funziona nella maggior parte delle scienze sociali (cosiddette) come l'economia.

Nell'industria funziona come nelle scienze. Ad esempio, se l'algoritmo di trading non funziona, alla fine perderai denaro e poi lo abbandonerai. I set di dati di convalida incrociata e training sono ampiamente utilizzati nello sviluppo e nella decisione di implementare l'algoritmo, ma dopo che è in produzione si tratta solo di fare soldi o perdere. Test fuori campione molto semplice.

— Aksakal
fonte

Ciò aiuta a stimare ?

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

— Richard Hardy,

@RichardHardy, sì, testerai la stessa ipotesi sui nuovi dati. Se regge allora sei a posto. Se il tuo modello è errato, alla fine dovrebbe fallire, intendo anche altri sistemi diagnostici. Dovresti vedere che il modello non funziona con i nuovi dati.

— Aksakal,

OK, allora sembra la buona vecchia prescrizione di dividere il campione in un sottocampione per la costruzione di modelli e un altro per il test di ipotesi. Avrei dovuto includere tale considerazione già nel PO. In ogni caso, sembra una strategia valida. Il problema con la macroeconomia, ad esempio, sarebbe che lo stesso modello non si adatterebbe quasi mai bene ai dati invisibili (poiché il processo di generazione dei dati sta cambiando nel tempo), quindi persisterebbe lo stesso identico problema con cui iniziamo. Ma questo è un esempio in cui praticamente ogni metodo fallisce, quindi non è una critica equa.

— Richard Hardy,

Nel frattempo, nella microeconomia nell'impostazione dei dati trasversali potrebbe funzionare. +1 per ora. D'altra parte, una volta che un modello è stato adattato a tutti i dati disponibili, questa soluzione non funzionerà. Immagino che sia quello che stavo pensando quando ho scritto la domanda, e cerco risposte che rispondano alla domanda del titolo: inferenza dal modello errato.

— Richard Hardy,

Sono d'accordo con il tuo punto di vista. Ma poiché la suddivisione del campione in "vecchio" e "nuovo" equivale alla raccolta di nuovi dati, non capisco dove vedi una grande differenza tra i due.

— Richard Hardy,

È possibile definire una "procedura combinata" e indagarne le caratteristiche. Supponiamo che inizi da un modello semplice e consenta di montare uno, due o tre modelli più complessi (o non parametrici) nel caso in cui il modello semplice non si adatti. Devi specificare una regola formale in base alla quale decidi di non adattare il modello semplice ma uno degli altri (e quale). È inoltre necessario disporre di test per applicare le ipotesi di interesse in tutti i modelli coinvolti (parametrici o non parametrici).

Con una tale configurazione è possibile simulare le caratteristiche, ovvero con quale percentuale la tua ipotesi nulla viene infine respinta nel caso in cui sia vera e in caso di diverse deviazioni di interesse. Inoltre, è possibile simulare da tutti i modelli coinvolti e guardare cose come il livello condizionale e la potenza condizionale dato che i dati provengono dal modello X, Y o Z o dato che la procedura del test di errata specificazione del modello ha selezionato il modello X, Y o Z.

Potresti scoprire che la selezione del modello non fa molto male nel senso che il livello raggiunto è ancora molto vicino al livello che stavi cercando, e la potenza è OK se non eccellente. Oppure potresti scoprire che la selezione del modello dipendente dai dati rovina davvero le cose; dipenderà dai dettagli (se la procedura di selezione del modello è molto affidabile, le probabilità sono di livello e la potenza non sarà influenzata molto fortemente).

Ora, questo non è esattamente lo stesso che specificare un modello e poi guardare i dati e decidere "oh, ne ho bisogno di un altro", ma è probabilmente il più vicino possibile per indagare su quali sarebbero le caratteristiche di un tale approccio. Non è banale perché è necessario fare una serie di scelte per farlo funzionare.

Osservazione generale: penso che sia fuorviante classificare la metodologia statistica applicata binariamente in "valido" e "non valido". Nulla è mai valido al 100% perché le ipotesi del modello non valgono mai esattamente nella pratica. D'altra parte, sebbene si possano trovare validi motivi (!) Per chiamare qualcosa di "non valido", se si indagano in profondità le caratteristiche dell'approccio apparentemente non valido, si potrebbe scoprire che funziona ancora abbastanza bene.

— Lewian
fonte

Mi chiedo se questo sia realistico nella pratica a parte il più semplice dei problemi. Il costo computazionale delle simulazioni supererebbe rapidamente le nostre capacità nella maggior parte dei casi, non credi? Il tuo commento sulla validità è ovviamente logico. Tuttavia, senza questa semplice ma utile (per aiutare il nostro ragionamento) saremmo ancora più persi di quanto non siamo con esso - questa è la mia prospettiva.

— Richard Hardy,

Non sto dicendo che questo dovrebbe essere fatto ogni volta che una tale situazione si incontra nella pratica. È piuttosto un progetto di ricerca; tuttavia un messaggio da asporto è che a mio avviso, per i motivi indicati, la selezione del modello dipendente dai dati non invalida esattamente l'inferenza che sarebbe stata altrimenti valida. Tali procedure combinate possono funzionare piuttosto bene in molte situazioni, sebbene al momento non siano state adeguatamente studiate.

— Lewian,

Immagino che se fosse possibile, sarebbe già in uso. Il problema principale potrebbe essere l'impossibilità a causa della grande quantità di scelte di modellazione che dipendono dai dati (torna al mio primo commento). O non vedi un problema lì?

— Richard Hardy,

C'è la strana simulazione in letteratura che esplora prima il test di errata specificazione / selezione del modello e poi l'inferenza parametrica subordinata al risultato di ciò. I risultati sono contrastanti per quanto ne so. Un esempio "classico" è qui: tandfonline.com/doi/abs/10.1080/…

— Lewian

Ma hai ragione; modellare l'intero processo con tutti i tipi di possibili opzioni di modellazione richiederebbe molte scelte. Penso ancora che sarebbe un progetto utile, anche se non qualcosa che si potrebbe richiedere ogni volta che i modelli vengono selezionati dagli stessi dati a cui sono adattati. A proposito, Aris Spanos contesta l'idea che i test di errata specificazione o il controllo del modello sui dati rendano l'inferenza non valida. onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

— Lewian