Randomizzazione di campioni non casuali

Sono sempre un po 'sorpreso di vedere annunci psicologici per la partecipazione a studi sperimentali. Di sicuro, le persone che rispondono a queste pubblicità non vengono campionate casualmente e quindi sono una popolazione auto-selezionata.

Poiché è noto che la randomizzazione risolve il problema di auto-selezione, mi chiedevo se la randomizzazione di un campione non casuale abbia effettivamente cambiato qualcosa.

Cosa ne pensi ? Inoltre, cosa dovremmo fare di tutti questi esperimenti psicologici basati su campioni fortemente auto-selezionati?

La randomizzazione in un campione non casuale può ancora mostrare un effetto non ragionevolmente spiegato da una variazione casuale.

Ad esempio, immaginiamo di avere una popolazione con due sottogruppi non riconosciuti (con caratteristiche alquanto diverse *) di dimensioni approssimativamente uguali, ma il campione è non casuale, con una divisione 80/20. Immaginiamo 2 gruppi di trattamento di uguali dimensioni. La randomizzazione (almeno con campioni di dimensioni decenti) tenderà a dare quasi quella suddivisione 80/20 in ciascun gruppo, in modo che gli effetti del trattamento siano dovuti al trattamento, piuttosto che un'allocazione disuguale dei gruppi eterogenei ai trattamenti.

* portando a diversi mezzi di base, diciamo

Il problema si presenta quando si desidera estendere l'inferenza a una popolazione target diversa da quella rappresentativa del proprio campione (gli auto-selettori); questo richiede ipotesi / un argomento per il quale potresti non avere prove (come supporre che le differenze di trattamento siano coerenti per tutti i sottogruppi della popolazione).

Per una situazione simile, immagina di testare un farmaco per l'ipertensione solo sugli uomini, rispetto a un trattamento standard e al placebo. Supponiamo che gli uomini siano adeguatamente randomizzati al gruppo di trattamento. Un effetto terapeutico sarà reale nel senso che descrive davvero un effetto negli uomini. La difficoltà arriverà quando si cerca di estendere tale inferenza alle donne .

Quindi, se vengono condotti correttamente e randomizzati a parte il reclutamento, un effetto osservato osservato sarà quello che sembra, ma si applicherà a ciò che hai effettivamente campionato, non necessariamente a quello che il tuo obiettivo desiderato era: colmare il divario tra i due maggio richiede un'attenta discussione; tale argomento è spesso assente.

Quando ero uno studente era abbastanza comune che gli esperimenti di psicologia fossero condotti su studenti di psicologia, che ci si aspettava che si offrissero volontari per un certo numero di ore di tali esperimenti (questo potrebbe essere ancora il caso, ma non ho contatti regolari con gli psicologi chi fa più esperimenti). Con la randomizzazione al trattamento, le inferenze potrebbero essere state valide (a seconda di ciò che è stato fatto) ma si applicherebbero alla popolazione locale di laureandi di psicologia auto-selezionati (in quanto generalmente scelgono gli esperimenti a cui iscriversi), che sono molto lontani da un campione casuale della popolazione più ampia.

Poiché è noto che la randomizzazione risolve il problema di auto-selezione, mi chiedevo se la randomizzazione di un campione non casuale abbia effettivamente cambiato qualcosa.

In breve, no. Pensala in questo modo: hai un'urna con 100 palline nere e 100 palline bianche. Campionate 90 palline nere e 10 palline bianche da esso. Il campionamento casuale da questo sottocampione non ti permetterà di dedurre in modo imparziale l'urna stessa.

Inoltre, cosa dovremmo fare di tutti questi esperimenti psicologici basati su campioni fortemente auto-selezionati?

Le persone concordano sul fatto che il campionamento non casuale è un problema. Ma quanto di un problema è anche una questione della tua "teoria" del meccanismo a cui sei interessato. Se la tua ipotesi si occupa di un meccanismo che dovrebbe essere sostanzialmente lo stesso per tutti gli umani (cioè provare una sensazione di congelamento quando immerso nel ghiaccio) acqua), quindi la selezione non casuale non ha molta importanza. Sfortunatamente, spesso non sono le cose a cui siamo interessati.

Esiste una tecnica progettata per affrontare i problemi menzionati noti come Bootstrapping. Il bootstrap è un approccio in cui si generano nuovi campioni sintetici attingendo dal proprio pool di campioni con la sostituzione. Quindi si creano statistiche su ciascuno di questi pool di campioni sintetici e si confrontano le statistiche tra insiemi.

Questo ha un grande vantaggio nel consentire all'utente di utilizzare molti strumenti aggiuntivi nelle statistiche poiché questi campioni sintetici provengono da una distribuzione nota. Puoi quindi determinare quanto sono bravi i tuoi stimatori nella gestione di questi casi sintetici. Se scopri che gli stimatori per tutti i tuoi campioni sintetici convergono bene sullo stesso risultato, i presupposti del bootstrap ti consentono di dedurre che i tuoi stimatori, quando applicati all'intero campione, forniscono buone stime per la popolazione sconosciuta. Se, d'altra parte, scopri che i tuoi stimatori producono risultati molto diversi dal set di campioni sintetici al set di campioni sintetici, dovresti dedurre che i tuoi stimatori, se applicati all'intero campione, potrebbero non fornire una stima molto buona per la popolazione sconosciuta.

Questo approccio di bootstrap può essere usato per validare se la randomizzazione del tuo campione non casuale è sufficiente. Non può provarlo, ovviamente, ma è stato usato come strumento per migliorare la credibilità verificando due volte il presupposto che il campionamento casuale sia sufficientemente casuale.