Libri di testo / letture su cosa fare quando non riesci a creare un esperimento ideale?

La mia formazione statistica è radicata nelle statistiche matematiche e prendere queste lezioni di metodi nella mia SM è un po 'uno shock al momento; è attualmente difficile per me essere in grado di comprendere alcuni di questi metodi "applicati" poiché non ho esperienza nel settore.

Uno degli argomenti di cui abbiamo parlato nelle mie lezioni sui metodi è l'idea del design sperimentale.

Ad esempio, voglio fare un esperimento sull'efficacia di un programma educativo che sostiene di aumentare i punteggi dei test degli studenti del K-12.

Nelle lezioni sui metodi, hanno insegnato quanto segue per perseguire un simile problema: assicurati di avere una buona domanda di ricerca, un buon metodo di raccolta dei dati, un esperimento randomizzato, gruppi di trattamento omogenei (cioè uno trattato con questo programma, uno forse no) idealmente di uguali dimensioni, e quindi eseguire un test (o una sorta di test di ipotesi non parametrico), e va tutto bene e dandy, giusto?$t$

Ho poca fiducia che questo è come funziona nella realtà.

Ho imparato che, sicuramente, potresti dover fare qualche campionamento di convenienza. Ma a parte questo, non ho idea di come implementare il design sperimentale diverso da quello che ho imparato da un libro di testo.

Ci sono libri di testo, letture, ecc. Che esplorano questi problemi in pratica (e idealmente, non sorvolano la matematica - Non ho bisogno di prove dettagliate di tutto, ma non voglio che mi dica che tutto è " ovvio ", per esempio)?

Esistono due campi in cui gli esperimenti randomizzati sono quasi sempre impossibili: sono scienze sociali ed economia. In questi casi puoi fare solo "quasi esperimenti". Prova a cercare con parole chiave quasi esperimenti, studi osservazionali e scienze sociali ; otterrai dei buoni libri di testo. Posso consigliare due libri eccellenti su questo argomento: il secondo libro di Shadish e Cook è un classico:

1. Controfattuali e deduzione causale: metodi e principi per la ricerca sociale di Morgan e Winship
2. Disegni sperimentali e quasi sperimentali per inferenza causale generalizzata di William R. Shadish e Thomas D. Cook

Un classico documento che utilizza una tecnica chiamata "corrispondenza del punteggio di propensione" in un contesto non sperimentale per l'inferenza causale di Dehejia e Wahba è anche altamente raccomandato.

Ulteriori raccomandazioni:

1. Progettazione di studi osservazionali di Paul R. Rosenbaum.
2. Inferenza causale per le scienze statistiche, sociali e biomediche: un'introduzione di Imbens e Rubin.

Se stai guardando esperimenti di serie temporali, i libri di cui sopra hanno alcuni capitoli dedicati a loro, ma un libro dedicato è di Gene v. Glass Design and Analysis of Time-Series Experiments e vorrei controllare il suo articolo Interrupted time series .

Curiosità: Gene V Glass ha coniato il termine " Meta Analysis ".

È qui che possono essere utili i progetti quasiexperimental. In molte situazioni nella pratica, i progetti sperimentali non sono pratici perché, sebbene tu abbia un trattamento, non sei in grado di eseguire assegnazioni casuali a gruppi o forse hai solo un gruppo.

Nel tuo esempio di educazione, potresti non avere il controllo su chi riceve il trattamento perché intendi eseguire l'intervento a tutti i bambini di una scuola. Tuttavia, potresti forse confrontare i loro punteggi con i punteggi degli anni precedenti o randomizzare le classi in modo che alcune classi ricevano l'intervento prima di altre, o confrontare più scuole tra cui quelle che non hanno ricevuto l'intervento.

Potrebbe avere senso fare una serie di serie temporali interrotte in cui si dispone di un solo gruppo, ma effettuare misurazioni costantemente e amministrare il trattamento durante la durata dello studio. In questo modo, è possibile vedere se la pendenza della variabile dipendente nel tempo è cambiata subito dopo il trattamento, rispetto alla pendenza complessiva dell'intero studio. Il numero di misurazioni può essere inferiore a 3, ma più è meglio.

Quindi, il mio suggerimento è quello di leggere su progetti di studio quasiexperimental.

Il trattamento più completo, generale e preciso della causalità è Judea Pearl 2009, "Causality", 2a edizione, Cambridge University Press.

In particolare, chiarisce che la causalità non è in realtà un problema statistico - anche i dati illimitati non lo risolvono. Introduce un linguaggio preciso per esprimere le conoscenze qualitative e teoriche necessarie per l'inferenza causale quando qualcosa sui dati non è ottimale. Vedrai che la randomizzazione fallita è solo uno dei tanti problemi. Inoltre, include tutte le altre strutture matematiche, ad esempio quelle di Imbens, Rubin e Rosenbaum. Non posso esagerare su quanto sia accessibile, elegante e potente il suo approccio.

Lo consiglio vivamente. Tuttavia, dovresti leggerlo in modo non lineare (i capitoli 5 e 11 sono più accessibili e quindi puoi tornare indietro nei capitoli 1, 3 e 7 per comprendere la teoria generale).

Una volta comprese le basi, è possibile esaminare facilmente i progressi più recenti, ad esempio quando è possibile "trasportare" i risultati causali da un contesto all'altro, il che non è necessariamente possibile nemmeno con la randomizzazione (Pearl, Judea ed Elias Bareinboim 2014, "Validità esterna: dal do-calcolo alla trasportabilità tra le popolazioni." Scienze statistiche.

Forse questi sono ciò che stai cercando ...

Statistiche per sperimentatori

Progettazione e analisi di esperimenti

Progettazione e analisi di esperimenti con R (non correlati al titolo precedente)

Miglioramento del processo utilizzando i dati (gratuitamente online o in PDF, il capitolo 5 tratta DoE)