La validazione incrociata può essere utilizzata per l'inferenza causale?

In tutti i contesti che conosco la convalida incrociata, viene utilizzato esclusivamente con l'obiettivo di aumentare la precisione predittiva. È possibile estendere la logica della convalida incrociata nella stima delle relazioni imparziali tra variabili?

Mentre questo articolo di Richard Berk dimostra l'uso di un campione di prova per la selezione dei parametri nel modello di regressione "finale" (e dimostra perché la selezione dei parametri a livello di passo non è una buona idea), non vedo ancora come ciò garantisca esattamente stime imparziali dell'effetto che X ha su Y più che sulla scelta di un modello basato sulla logica e sulla conoscenza preliminare della materia.

Chiedo alle persone di citare esempi in cui si è usato un campione di prova per aiutare nell'inferenza causale, o saggi generali che possono aiutare la mia comprensione. Inoltre, non dubito che la mia concezione della validazione incrociata sia ingenua, e quindi se lo dice. Sembra sbrigativo che l'uso di un campione di controllo sarebbe suscettibile all'inferenza causale, ma non conosco alcun lavoro che faccia questo o come lo farebbero.

Citazione per il Berk Paper:

Inferenza statistica dopo la selezione del modello di: Richard Berk, Lawrence Brown, Linda Zhao Journal of Quantitative Criminology, vol. 26, n. 2. (1 giugno 2010), pagg. 217-236.

Versione PDF qui

Questa domanda sull'analisi dei dati esplorativi in ​​piccoli studi campione di chl ha portato a questa domanda.

Penso che sia utile rivedere ciò che sappiamo sulla convalida incrociata. I risultati statistici relativi al CV rientrano in due classi: efficienza e coerenza.

L'efficienza è ciò di cui ci preoccupiamo di solito quando si creano modelli predittivi. L'idea è che usiamo CV per determinare un modello con garanzie asintotiche riguardanti la funzione di perdita. Il risultato più famoso qui è dovuto a Stone 1977 e dimostra che LOO CV è asintoticamente equivalente a AIC. Ma Brett fornisce un buon esempio in cui è possibile trovare un modello predittivo che non ti informa sul meccanismo causale.

La coerenza è ciò di cui ci preoccupiamo se il nostro obiettivo è trovare il modello "vero". L'idea è che usiamo CV per determinare un modello con garanzie asintotiche che, dato che il nostro spazio modello include il modello vero, lo scopriremo con un campione abbastanza grande. Il risultato più famoso qui è dovuto a Shao 1993 riguardante i modelli lineari, ma come afferma nel suo abstract, la sua "scoperta scioccante" è opposta al risultato per LOO. Per i modelli lineari, è possibile ottenere coerenza utilizzando LKO CV fintanto che come n → ∞ . Oltre ai mdoel lineari, è più difficile ricavare risultati statistici. $k/n \rightarrow 1$$n \rightarrow \infty$

Ma supponiamo che tu possa soddisfare i criteri di coerenza e che la tua procedura CV porti al vero modello: . Cosa abbiamo imparato sul meccanismo causale? Sappiamo semplicemente che esiste una correlazione ben definita tra Y e X , che non dice molto sulle affermazioni causali. Da una prospettiva tradizionale, è necessario introdurre un disegno sperimentale con il meccanismo di controllo / manipolazione per fare affermazioni causali. Dal punto di vista della struttura di Judea Pearl, puoi inserire ipotesi causali in un modello strutturale e utilizzare il calcolo basato sulla probabilità dei controfattuali per ricavare alcune affermazioni, ma dovrai soddisfare determinate proprietà . $Y = \beta X + e$$Y$$X$

Forse potresti dire che il CV può aiutare con l'inferenza causale identificando il vero modello (purché tu possa soddisfare i criteri di coerenza!). Ma ti porta solo così lontano; Il CV di per sé non sta facendo alcun lavoro in nessuno dei due quadri dell'inferenza causale.

Se sei interessato a ciò che possiamo dire con la convalida incrociata, consiglierei Shao 1997 sull'articolo del 1993 ampiamente citato:

• Una teoria asintotica per la selezione di modelli lineari (Shao, 1997)

Puoi scorrere i risultati principali, ma è interessante leggere la discussione che segue. Pensavo che i commenti di Rao & Tibshirani e di Stone fossero particolarmente penetranti. Ma nota che mentre discutono di coerenza, non vengono mai fatte affermazioni sulla causalità.

Questa è una domanda davvero interessante e non offro citazioni specifiche. Tuttavia, in generale, direi NO, in sé e per sé, la convalida incrociata non offre alcuna comprensione della causalità. In assenza di un esperimento progettato, il problema della causalità è sempre incerto. Come suggerisci, la convalida incrociata può e migliorerà la precisione predittiva. Questo, da solo, non dice nulla sulla causalità.

In assenza di un esperimento progettato, l'inferenza causale richiederebbe un modello che includa tutti i predittori rilevanti, cosa che raramente possiamo garantire in uno studio osservazionale. Inoltre, una semplice variabile di ritardo, ad esempio (o qualsiasi cosa fortemente correlata con qualsiasi risultato che stavamo cercando di prevedere) produrrebbe un buon modello e uno che potrebbe essere validato in più campioni. Ciò non significa, tuttavia, che possiamo dedurre la causalità. La convalida incrociata assicura la ripetibilità nelle previsioni e nient'altro. La causalità è una questione di design e logica.

EDIT: ecco un esempio per illustrare. Potrei costruire un modello con una buona precisione predittiva che prevede la popolazione di una città in base alla quantità di denaro che la città spende per la rimozione dei rifiuti. Potrei usare la convalida incrociata per testare l'accuratezza di quel modello e altri metodi per migliorare l'accuratezza della previsione e ottenere parametri più stabili. Ora, mentre questo modello funziona alla grande per la predizione, la logica causale è sbagliata - la direzione causale è invertita. Indipendentemente da ciò che potrebbe dire la gente del Dipartimento dei Lavori Pubblici, aumentare il budget per la rimozione dei rifiuti non sarebbe una buona strategia per aumentare la popolazione della città (l'interpretazione causale).

I problemi di accuratezza e ripetibilità di un modello sono separati dalla nostra capacità di fare inferenze causali sulle relazioni che osserviamo. La convalida incrociata ci aiuta con il primo e non con il secondo. Ora, SE stiamo stimando un modello "corretto" in termini di specifica di una relazione occasionale (ad esempio, cercando di determinare quale dovrebbe essere il nostro budget per la rimozione dei rifiuti in base alla nostra popolazione prevista il prossimo anno), la convalida incrociata può aiutarci ad avere maggiori fiducia nella nostra stima di tale effetto. Tuttavia, la convalida incrociata non fa nulla per aiutarci a scegliere il modello "corretto" in relazione alle relazioni causali. Ancora una volta, qui dobbiamo fare affidamento sulla progettazione dello studio, sulla nostra competenza in materia, teoria e logica.

Mi sembra che la tua domanda affronti più in generale i diversi tipi di convalida per un modello predittivo: la convalida incrociata ha un po 'più a che fare con la validità interna , o almeno la fase di modellazione iniziale, mentre disegnare collegamenti causali su una popolazione più ampia è più correlato a validità esterna. Con ciò (e come aggiornamento dopo la bella osservazione di @ Brett), intendo che di solito costruiamo un modello su un campione funzionante, assumendo un ipotetico modello concettuale (cioè specificiamo le relazioni tra predittori e il risultato (i) di interesse), e cerchiamo di ottenere stime affidabili con un tasso di errore di classificazione minimo o un errore di previsione minimo. Si spera, migliore è il rendimento del modello, migliore ci permetterà di prevedere i risultati su dati invisibili; tuttavia, CV non dice nulla sulla "validità" o sull'adeguatezza dei collegamenti causali ipotizzati. Potremmo certamente ottenere risultati decenti con un modello in cui alcuni effetti di moderazione e / o mediazione vengono trascurati o semplicemente non conosciuti in anticipo.

Il mio punto è che qualunque sia il metodo che usi per convalidare il tuo modello (e il metodo di controllo non è certamente il migliore, ma è ancora ampiamente usato nello studio epidemiologico per alleviare i problemi derivanti dalla costruzione di modelli graduale), lavori con lo stesso campione (che supponiamo sia rappresentativo di una popolazione più ampia). Al contrario, la generalizzazione dei risultati e dei collegamenti causali dedotti in questo modo a nuovi campioni o ad una popolazione plausibilmente correlata viene di solito effettuata da studi di replicazione . Questo ci consente di testare in sicurezza l'abilità predittiva del nostro modello in una "superpopolazione" che presenta una gamma più ampia di variazioni individuali e può presentare altri potenziali fattori di interesse.

Il tuo modello potrebbe fornire previsioni valide per il tuo campione di lavoro e include tutti i potenziali confonditori a cui potresti aver pensato; tuttavia, è possibile che non funzionerà altrettanto bene con i nuovi dati, solo perché nel percorso causale intermedio compaiono altri fattori che non sono stati identificati durante la creazione del modello iniziale. Ciò può accadere se alcuni dei predittori e i collegamenti causali da essi dedotti dipendono dal particolare centro di sperimentazione in cui i pazienti sono stati reclutati, ad esempio.

Nell'epidemiologia genetica, molti studi di associazione su tutto il genoma non riescono a replicarsi solo perché stiamo cercando di modellare malattie complesse con una visione semplificata delle relazioni causali tra marcatori di DNA e fenotipo osservato, mentre è molto probabile che gene-gene (epistasi), malattie genetiche (pleiotropia), ambiente genico e sottostruttura della popolazione entrano in gioco, ma si vedano ad esempio la convalida, il potenziamento e il perfezionamento dei segnali di associazione a livello del genoma(Ioannidis et al., Nature Reviews Genetics, 2009 10). Quindi, possiamo costruire un modello performante per tenere conto delle variazioni incrociate osservate tra un insieme di marcatori genetici (con dimensioni dell'effetto molto basse e sparse) e un modello multivariato di fenotipi osservati (ad esempio, volume di sostanza bianca / grigia o attività localizzate nel cervello osservate attraverso la risonanza magnetica, le risposte alla valutazione neuropsicologica o all'inventario della personalità), tuttavia non funzionerà come previsto su un campione indipendente.

Per quanto riguarda un riferimento generale su questo argomento, posso consigliare il capitolo 17 e la parte III dei modelli di previsione clinica , di EW Steyerberg (Springer, 2009). Mi piace anche il seguente articolo di Ioannidi:

Ioannidis, JPA, Perché i risultati della ricerca più pubblicati sono falsi? PLoS Med. 2005 2 (8): e124

Questa è una buona domanda, ma la risposta è decisamente no: la validazione incrociata non migliorerà l'inferenza causale. Se si dispone di una mappatura tra sintomi e malattie, la convalida incrociata contribuirà a garantire che il modello corrisponda meglio alla loro distribuzione articolare rispetto a se si fosse semplicemente adattato il modello all'intero set di dati non elaborati, ma non si può mai dire nulla su la direzionalità della causalità.

La convalida incrociata è molto importante e vale la pena studiare, ma non fa altro che impedirti di sovradimensionare il rumore nel tuo set di dati. Se vuoi capirlo di più, suggerirei il capitolo 7 di ESL: http://www-stat.stanford.edu/~hastie/Papers/ESLII.pdf

Per rispondere al follow-up @Andy pubblicato come risposta qui ...

Sebbene non potessi dire quale stima sia corretta e quale sia falsa, l'incoerenza nelle stime di convinzione d'assalto e di pistola tra i due modelli mette in dubbio che uno dei due abbia un vero effetto causale sulla lunghezza della frase?

Penso che ciò che intendi sia la discrepanza nelle stime dei parametri ci dia motivo di credere che nessuna delle stime dei parametri rappresenti il ​​vero effetto causale. Sono d'accordo con questo, anche se avevamo già molte ragioni per essere scettici sul fatto che un tale modello avrebbe prodotto il vero effetto causale.

Ecco la mia opinione: i dati troppo adeguati sono una fonte di stime di parametri distorte e, senza motivo di ritenere che questo pregiudizio compensi altre fonti di pregiudizio nella stima di un particolare effetto causale, deve quindi essere meglio, in media, stimare gli effetti causali senza adattamento eccessivo dei dati. La convalida incrociata impedisce un eccesso di adattamento, quindi dovrebbe, in media, migliorare le stime degli effetti causali.

Ma se qualcuno sta cercando di convincermi a credere alla loro stima di un effetto causale dai dati osservativi, dimostrare che non hanno adattato eccessivamente i loro dati è una priorità bassa a meno che non abbia buone ragioni per sospettare che la loro strategia di modellistica abbia probabilmente over-fit.

Nelle applicazioni di scienze sociali con cui lavoro, sono molto più interessato a problemi sostanziali, problemi di misurazione e controlli di sensibilità. Con i controlli di sensibilità intendo stimare le variazioni del modello in cui i termini vengono aggiunti o rimossi e stimare i modelli con interazioni che consentono agli interessi di variare tra i sottogruppi. Quanto incidono queste modifiche al modello statistico sulla stima dei parametri che vogliamo interpretare in modo causale? Le discrepanze in questo parametro sono stimate tra le specifiche del modello o sottogruppi comprensibili in termini di storia causale che si sta tentando di raccontare o suggeriscono un effetto guidato da, ad esempio, la selezione.

In effetti, prima di eseguire queste specifiche alternative. Annota come pensi che cambierà la tua stima dei parametri. È fantastico se la tua stima dei parametri di interesse non varia molto tra i sottogruppi o le specifiche, nel contesto del mio lavoro, è più importante della convalida incrociata. Ma altre questioni sostanziali che influenzano la mia interpretazione sono ancora più importanti.

Ringrazio tutti per le loro risposte, ma la domanda è cresciuta fino a diventare qualcosa che non intendevo, essendo principalmente un saggio sulla nozione generale di inferenza causale senza una risposta giusta.

Inizialmente intendevo la domanda per sondare il pubblico alla ricerca di esempi sull'uso della convalida incrociata per l'inferenza causale. Avevo supposto che esistessero tali metodi, dato che l'idea di utilizzare un campione di prova e tenere fuori il campione per valutare la ripetibilità delle stime degli effetti mi sembrava logica. Come notato da John, ciò che stavo suggerendo non è dissimile dal bootstrap e direi che assomiglia ad altri metodi che usiamo per convalidare risultati come test di specificità del sottoinsieme o variabili dipendenti non equivalenti (il bootstrap rilassa ipotesi parametriche di modelli e il sottoinsieme i test in modo più generale vengono utilizzati per verificare che i risultati siano logici in varie situazioni). Nessuno di questi metodi soddisfa nessuno degli altri criteri di risposta per l'inferenza causale, ma credo che siano ancora utili per l'inferenza causale.

Il commento di chl è corretto in quanto la mia affermazione sull'uso della validazione incrociata è un controllo sulla validità interna per aiutare nell'inferenza causale. Ma per ora chiedo di gettare via la distinzione tra validità interna ed esterna, poiché non fa nulla per favorire il dibattito. Nell'esempio di chl di ampi studi sul genoma in epidemiologia considererei un primo esempio di scarsa validità interna, rendendo intrinsecamente dubbie le forti inferenze. Penso che gli studi sull'associazione del genoma siano in realtà un esempio di ciò che ho chiesto. Pensi che le inferenze tra i geni e la malattia siano migliorate attraverso l'uso della validazione incrociata (invece di gettare tutti i marker in un modello e regolare i valori p di conseguenza?)

Di seguito ho incollato una copia di un tavolo nell'articolo di Berk che ho citato nella mia domanda. Mentre queste tabelle sono state mostrate per dimostrare la falsa logica dell'uso di criteri di selezione step-sise e inferenza causale sullo stesso modello, supponiamo che non siano stati utilizzati criteri di selezione del modello e che i parametri sia nell'allenamento che nel campione sono stati determinati a priori. Questo non mi sembra un risultato irrealistico. Sebbene non potessi dire quale stima sia corretta e quale sia falsa, l'incoerenza nelle stime di convinzione d'assalto e di pistola tra i due modelli mette in dubbio che uno dei due abbia un vero effetto causale sulla lunghezza della frase? Conoscere questa variazione non è utile? Se non perdiamo nulla avendo un campione di prova per testare il nostro modello, perché non possiamo usare la convalida incrociata per migliorare l'inferenza causale (o mi manca ciò che stiamo perdendo usando un campione di tenuta?)

Immagino che questo sia un modo intuitivo di pensare alla relazione tra CV e inferenza causale: (per favore correggi se sbaglio)

Penso sempre al CV come a un modo per valutare le prestazioni di un modello nelle previsioni. Tuttavia, nell'inferenza causale siamo più preoccupati di qualcosa di equivalente al rasoio di Occam (parsimonia), quindi CV non aiuta.

Grazie.