Inferenza statistica quando il campione "è" la popolazione


47

Immagina di dover fare una relazione sul numero di candidati che ogni anno effettuano un determinato test. Sembra piuttosto difficile dedurre la percentuale osservata di successo, ad esempio, su una popolazione più ampia a causa della specificità della popolazione target. Quindi puoi considerare che questi dati rappresentano l'intera popolazione.

I risultati dei test che indicano che le proporzioni di maschi e femmine sono differenti sono davvero corretti? Un test che confronta le proporzioni osservate e teoriche sembra essere corretto, poiché si considera un'intera popolazione (e non un campione)?

Risposte:


31

Potrebbero esserci opinioni diverse su questo, ma tratterei i dati sulla popolazione come un campione e assumerei una popolazione ipotetica, quindi farei inferenze nel solito modo. Un modo di pensare a questo è che esiste un processo di generazione dei dati sottostante responsabile dei dati raccolti, la distribuzione della "popolazione".

Nel tuo caso particolare, questo potrebbe avere ancora più senso dal momento che avrai delle coorti in futuro. Quindi la tua popolazione è davvero coorti che faranno il test anche in futuro. In questo modo, potresti tenere conto delle variazioni temporali se disponi di dati per più di un anno o provare a tenere conto dei fattori latenti attraverso il tuo modello di errore. In breve, puoi sviluppare modelli più ricchi con un maggiore potere esplicativo.


4
Ho appena trovato questo post da A Gelman, In che modo l'analisi statistica differisce quando si analizza l'intera popolazione piuttosto che un campione? , j.mp/cZ1WSI . Un buon punto di partenza per opinioni divergenti sul concetto di "superpopolazione".
chl

2
@chl: interessante - mi ricorda che Gelman aveva una discussione sull'inferenza della popolazione finita / super paragonabile agli effetti fissi / casuali nel suo articolo su ANOVA [ stat.columbia.edu/~gelman/research/published/econanova3.pdf ].
ars

+1 Sono appena tornato su questo (di nuovo tramite Google). Penso che la tua risposta sia perfetta.
Shane,

25

In realtà, se sei davvero sicuro di avere l'intera popolazione, non c'è nemmeno bisogno di andare nelle statistiche. Allora sai esattamente quanto è grande la differenza e non c'è motivo di provarlo più. Un errore classico sta usando il significato statistico come significato "rilevante". Se hai campionato la popolazione, la differenza è quella che è.

D'altra parte, se riformuli la tua ipotesi, i candidati possono essere visti come un campione di possibili candidati, il che consentirebbe test statistici. In questo caso, verifichi in generale se maschio e femmina differiscono nel test in esame.

Come dice ars, puoi usare test di più anni e aggiungere tempo come fattore casuale. Ma se il tuo interesse è davvero per le differenze tra questi candidati su questo particolare test, non puoi usare la generalizzazione e il test è insensato.


15

Tradizionalmente, l'inferenza statistica viene insegnata nel contesto dei campioni di probabilità e della natura dell'errore di campionamento. Questo modello è la base per il test di significatività. Tuttavia, ci sono altri modi per modellare le partenze sistematiche dal caso e risulta che i nostri test parametrici (basati sul campionamento) tendono ad essere buone approssimazioni di queste alternative.

I test parametrici delle ipotesi si basano sulla teoria del campionamento per produrre stime del probabile errore. Se un campione di una determinata dimensione viene prelevato da una popolazione, la conoscenza della natura sistematica del campionamento rende significativi i test e gli intervalli di confidenza. Con una popolazione, la teoria del campionamento non è semplicemente rilevante e i test non sono significativi in ​​senso tradizionale. L'inferenza è inutile, non c'è nulla da dedurre, c'è solo la cosa ... il parametro stesso.

Alcuni lo aggirano facendo appello alle superpopolazioni che rappresenta l'attuale censimento. Trovo questi appelli poco convincenti: i test parametrici si basano sul campionamento di probabilità e sulle sue caratteristiche. Una popolazione in un dato momento può essere un campione di una popolazione più ampia nel tempo e nel luogo. Tuttavia, non vedo in alcun modo che si possa legittimamente sostenere che si tratti di un campione casuale (o più in generale di qualsiasi forma di probabilità). Senza un campione di probabilità, la teoria del campionamento e la logica tradizionale dei test semplicemente non si applicano. Puoi anche testare sulla base di un campione di convenienza.

Chiaramente, per accettare i test quando si utilizza una popolazione, è necessario rinunciare alla base di tali test nelle procedure di campionamento. Un modo per farlo è riconoscere la stretta connessione tra i nostri test teorici di esempio - come t, Z e F - e le procedure di randomizzazione. I test di randomizzazione si basano sul campione a portata di mano. Se raccolgo dati sul reddito di maschi e femmine, il modello di probabilità e la base per le nostre stime di errore vengono ripetute allocazioni casuali dei valori dei dati effettivi. Potrei confrontare le differenze osservate tra i gruppi con una distribuzione basata su questa randomizzazione. (Lo facciamo sempre in esperimenti, tra l'altro, in cui il campionamento casuale da un modello di popolazione è raramente appropriato).

Ora, risulta che i test teorici di esempio sono spesso buone approssimazioni dei test di randomizzazione. Quindi, in definitiva, penso che i test delle popolazioni siano utili e significativi in ​​questo quadro e possano aiutare a distinguere la variazione sistematica dalla variazione casuale, proprio come con i test basati su campioni. La logica utilizzata per arrivarci è un po 'diversa, ma non influisce molto sul significato pratico e sull'uso dei test. Naturalmente, potrebbe essere meglio usare i test di randomizzazione e di permutazione direttamente dato che sono facilmente disponibili con tutta la nostra moderna potenza di calcolo.


3
+1 per la discussione sensata; alcuni punti però. I macchinari inferenziali non sono disponibili per l'analisi della popolazione, ma in molti casi di modellizzazione, mi chiedo se uno abbia mai i dati della popolazione per cominciare - spesso, non è molto difficile creare buchi. Quindi non è sempre un appello a una super popolazione come mezzo per dispiegare l'inferenza. Piuttosto che "super popolazione", il modo migliore è quello di assumere un processo di generazione di dati che produca, ad esempio, test anno per anno prendendo le coorti in questione. Ecco dove sorge la componente stocastica.
Ars,

2
Non credo che ci sia alcun disaccordo qui, tranne per la mancanza di macchinari inferenziali per l'analisi della popolazione. I test di randomizzazione sono applicabili alle popolazioni e possono ragionevolmente verificare se il processo di generazione dei dati è probabilmente dovuto a un processo di generazione casuale rispetto a un processo di generazione sistematico. Non presuppongono un campionamento casuale e sono un test piuttosto diretto del caso rispetto alla variazione sistematica. I nostri test tradizionali si presentano abbastanza bene per loro.
Brett,

Questo è vero riguardo: "mancanza di macchine inferenziali". Una formulazione incurante da parte mia, soprattutto perché mi è piaciuto il punto che hai fatto riguardo ai test di randomizzazione nella tua risposta.
ARS

scusa. Ho difficoltà a capire come calcolare le permutazioni e quali conclusioni sarò in grado di trarne.
pbneau,

Il bootstrap non è un'alternativa valida? In che modo il bootstrap non riesce a risolvere la necessità di formulare una di queste ipotesi?
Chernoff,

3

Supponiamo che i risultati indichino che i candidati differiscono in base al genere. Ad esempio, la percentuale di coloro che hanno completato i test sono i seguenti: 40% femmine e 60% maschi. Per suggerire l'ovvio, il 40% è diverso dal 60%. Ciò che conta è decidere: 1) la tua popolazione di interesse; 2) come le tue osservazioni si riferiscono alla popolazione di interesse. Ecco alcuni dettagli su questi due problemi:

  1. Se la tua popolazione di interesse sono solo i candidati che hai osservato (ad esempio, i 100 candidati che hanno fatto domanda per un'università nel 2016), non è necessario segnalare test di significatività statistica. Questo perché la tua popolazione di interesse è stata completamente campionata ... tutto ciò che ti interessa sono i 100 candidati su cui hai i dati completi. Cioè, il 60% è, a tutto punto, diverso dal 40%. Il tipo di domanda a cui risponde è questa: c'erano differenze di genere nella popolazione di 100 che si applicavano al programma? Questa è una domanda descrittiva e la risposta è sì.

  2. Tuttavia, molte domande importanti riguardano cosa accadrà in contesti diversi. Cioè, molti ricercatori vogliono inventare tendenze sul passato che ci aiutano a prevedere (e quindi pianificare) il futuro. Una domanda di esempio in tal senso sarebbe: quanto è probabile che i test futuri dei candidati saranno diversi in base al genere? La popolazione di interesse è quindi più ampia rispetto allo scenario n. 1 sopra. A questo punto, una domanda importante da porsi è: è probabile che i tuoi dati osservati siano rappresentativi delle tendenze future? Questa è una domanda inferenziale e, sulla base delle informazioni fornite dal poster originale, la risposta è: non lo sappiamo.

In sintesi, quali statistiche segnalate dipendono dal tipo di domanda a cui si desidera rispondere.

Pensare al design di ricerca di base può essere di grande aiuto (prova qui: http://www.socialresearchmethods.net/kb/design.php ). Pensare alle superpopolazioni può essere di aiuto se vuoi informazioni più avanzate (ecco un articolo che può aiutare: http://projecteuclid.org/euclid.ss/1023798999#ui-tabs-1 ).


2

Se consideri qualunque cosa tu stia misurando come un processo casuale, allora i test statistici sono rilevanti. Prendi ad esempio, lanciando una moneta 10 volte per vedere se è giusto. Ottieni 6 teste e 4 code - cosa concludi?


1
Non capisco davvero come la conclusione che hai raggiunto sull'emissione del lancio di una moneta sia correlata alla domanda posta. Forse potresti espanderti un po 'su quel punto? I test statistici sembrano essere rilevanti nella misura in cui aiutano a dedurre i risultati osservati su una popolazione più ampia, sia essa una popolazione di riferimento o generale. La domanda qui sembra essere: dato che il campione è vicino alla popolazione dei partecipanti al test per un determinato periodo di tempo (qui, un anno), l'inferenza classica è il modo giusto di prendere una decisione su possibili differenze a livello individuale?
chl

1
@chl Sì, ma sembra che OP stia cercando di inferire una sottostante probabilità di successo. I test confrontano le proporzioni osservate con la distribuzione teorica per determinare se esiste una differenza per un determinato livello di confidenza. Stai testando qualsiasi forma di casualità, non solo campionando la casualità degli errori.
James,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.