Randomizzazione di campioni non casuali


10

Sono sempre un po 'sorpreso di vedere annunci psicologici per la partecipazione a studi sperimentali. Di sicuro, le persone che rispondono a queste pubblicità non vengono campionate casualmente e quindi sono una popolazione auto-selezionata.

Poiché è noto che la randomizzazione risolve il problema di auto-selezione, mi chiedevo se la randomizzazione di un campione non casuale abbia effettivamente cambiato qualcosa.

Cosa ne pensi ? Inoltre, cosa dovremmo fare di tutti questi esperimenti psicologici basati su campioni fortemente auto-selezionati?


Risposte:


10

La randomizzazione in un campione non casuale può ancora mostrare un effetto non ragionevolmente spiegato da una variazione casuale.

Ad esempio, immaginiamo di avere una popolazione con due sottogruppi non riconosciuti (con caratteristiche alquanto diverse *) di dimensioni approssimativamente uguali, ma il campione è non casuale, con una divisione 80/20. Immaginiamo 2 gruppi di trattamento di uguali dimensioni. La randomizzazione (almeno con campioni di dimensioni decenti) tenderà a dare quasi quella suddivisione 80/20 in ciascun gruppo, in modo che gli effetti del trattamento siano dovuti al trattamento, piuttosto che un'allocazione disuguale dei gruppi eterogenei ai trattamenti.

* portando a diversi mezzi di base, diciamo

Il problema si presenta quando si desidera estendere l'inferenza a una popolazione target diversa da quella rappresentativa del proprio campione (gli auto-selettori); questo richiede ipotesi / un argomento per il quale potresti non avere prove (come supporre che le differenze di trattamento siano coerenti per tutti i sottogruppi della popolazione).

Per una situazione simile, immagina di testare un farmaco per l'ipertensione solo sugli uomini, rispetto a un trattamento standard e al placebo. Supponiamo che gli uomini siano adeguatamente randomizzati al gruppo di trattamento. Un effetto terapeutico sarà reale nel senso che descrive davvero un effetto negli uomini. La difficoltà arriverà quando si cerca di estendere tale inferenza alle donne .

Quindi, se vengono condotti correttamente e randomizzati a parte il reclutamento, un effetto osservato osservato sarà quello che sembra, ma si applicherà a ciò che hai effettivamente campionato, non necessariamente a quello che il tuo obiettivo desiderato era: colmare il divario tra i due maggio richiede un'attenta discussione; tale argomento è spesso assente.

Quando ero uno studente era abbastanza comune che gli esperimenti di psicologia fossero condotti su studenti di psicologia, che ci si aspettava che si offrissero volontari per un certo numero di ore di tali esperimenti (questo potrebbe essere ancora il caso, ma non ho contatti regolari con gli psicologi chi fa più esperimenti). Con la randomizzazione al trattamento, le inferenze potrebbero essere state valide (a seconda di ciò che è stato fatto) ma si applicherebbero alla popolazione locale di laureandi di psicologia auto-selezionati (in quanto generalmente scelgono gli esperimenti a cui iscriversi), che sono molto lontani da un campione casuale della popolazione più ampia.


Reclutare studenti poveri è ancora la pratica. Che uno studente di psicologia si aspetti che partecipi a tali studi è una terribile violazione dell'integrità della ricerca, IMO.
StasK

@StasK: Perché? Li trovavo piuttosto interessanti e immagino che partecipare a loro darebbe una prospettiva utile agli studenti di psicologia.
Scortchi - Ripristina Monica

1
Sì, il modello "intro psych pool" è ancora vivo e vegeto. @StasK, per renderlo un po 'meno coercitivo, agli studenti viene chiesto solo di partecipare ad alcuni esperimenti e possono scegliere quali. Penso che abbiamo anche un modo per gli studenti di rinunciare all'intera cosa.
Matt Krause,

2
In questi giorni, le persone si scatenano anche con il Turk meccanico di Amazon, i sondaggi sui consumatori di Google e poche altre cose "cloud". Questi teoricamente ti danno accesso ad altri pool di argomenti, ma ci sono anche molti problemi lì (le "condizioni" sono molto più variabili, i soggetti possono essere meno motivati ​​e non hai modo reale di sapere se sono chi dicono ...). Gli studenti universitari sono proprio lì, abbastanza motivati ​​a fare l'esperimento e spesso disposti a lavorare a buon mercato.
Matt Krause,

@MattKrause: Ai miei tempi saresti entrato in una lotteria per una bottiglia di vino - non c'era mai carenza di volontari.
Scortchi - Ripristina Monica

6

Poiché è noto che la randomizzazione risolve il problema di auto-selezione, mi chiedevo se la randomizzazione di un campione non casuale abbia effettivamente cambiato qualcosa.

In breve, no. Pensala in questo modo: hai un'urna con 100 palline nere e 100 palline bianche. Campionate 90 palline nere e 10 palline bianche da esso. Il campionamento casuale da questo sottocampione non ti permetterà di dedurre in modo imparziale l'urna stessa.

Inoltre, cosa dovremmo fare di tutti questi esperimenti psicologici basati su campioni fortemente auto-selezionati?

Le persone concordano sul fatto che il campionamento non casuale è un problema. Ma quanto di un problema è anche una questione della tua "teoria" del meccanismo a cui sei interessato. Se la tua ipotesi si occupa di un meccanismo che dovrebbe essere sostanzialmente lo stesso per tutti gli umani (cioè provare una sensazione di congelamento quando immerso nel ghiaccio) acqua), quindi la selezione non casuale non ha molta importanza. Sfortunatamente, spesso non sono le cose a cui siamo interessati.


Gli psicologi stanno ponendo domande del tipo "Se sto provando a spezzare una palla lanciandola contro il muro invece di metterla su un tavolo e colpendola con un martello, quale procedura ha più probabilità di dividerla?" Non stanno tentando l'inferenza sul numero di palline di ciascun colore, stanno tentando un'inferenza sulla modalità di rottura rispetto alla randomizzazione in quella modalità.
StasK

Non necessariamente, Stas. In alcuni casi (ad esempio l'effetto Stroop), l'obiettivo è quello di generalizzare a un meccanismo cognitivo inerente a tutti gli esseri umani. Anche se stiamo confrontando i trattamenti, la randomizzazione all'interno del campione non consentirà un'inferenza imparziale alla popolazione (che è come ciò a cui siamo interessati).
abaumann,

1

Esiste una tecnica progettata per affrontare i problemi menzionati noti come Bootstrapping. Il bootstrap è un approccio in cui si generano nuovi campioni sintetici attingendo dal proprio pool di campioni con la sostituzione. Quindi si creano statistiche su ciascuno di questi pool di campioni sintetici e si confrontano le statistiche tra insiemi.

Questo ha un grande vantaggio nel consentire all'utente di utilizzare molti strumenti aggiuntivi nelle statistiche poiché questi campioni sintetici provengono da una distribuzione nota. Puoi quindi determinare quanto sono bravi i tuoi stimatori nella gestione di questi casi sintetici. Se scopri che gli stimatori per tutti i tuoi campioni sintetici convergono bene sullo stesso risultato, i presupposti del bootstrap ti consentono di dedurre che i tuoi stimatori, quando applicati all'intero campione, forniscono buone stime per la popolazione sconosciuta. Se, d'altra parte, scopri che i tuoi stimatori producono risultati molto diversi dal set di campioni sintetici al set di campioni sintetici, dovresti dedurre che i tuoi stimatori, se applicati all'intero campione, potrebbero non fornire una stima molto buona per la popolazione sconosciuta.

Questo approccio di bootstrap può essere usato per validare se la randomizzazione del tuo campione non casuale è sufficiente. Non può provarlo, ovviamente, ma è stato usato come strumento per migliorare la credibilità verificando due volte il presupposto che il campionamento casuale sia sufficientemente casuale.


2
Il bootstrap presuppone che il tuo campione sia molto simile alla popolazione. Il bootstrap è inutile se il tuo campione non è rappresentativo della popolazione. Pertanto, non sono sicuro di come il bootstrap possa risolvere il problema dei campioni non casuali.
Hotaka,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.