Perché (/) il campionamento statistico dovrebbe funzionare in politica (ad es. Gallup)?

I sondaggi là fuori (diciamo, Gallup) campionano un numero assurdamente basso di persone rispetto alle dimensioni della popolazione (ad esempio forse un migliaio di persone su centinaia di milioni).

Ora, per me, campionare una popolazione come mezzo per stimare le statistiche della popolazione ha senso quando hai una forte ragione di credere che i campioni siano rappresentativi della popolazione (o, allo stesso modo, di altri campioni ) .

Ad esempio, il campionamento ha ovviamente senso per gli studi medici, perché sappiamo a priori che tutti gli esseri umani hanno genomi abbastanza simili e che questo fattore fa sì che i loro corpi si comportino in modo simile.
Nota che questo non è un tipo di accoppiamento libero: il genoma è un fattore determinante abbastanza dannatamente forte .

Tuttavia, non capisco cosa giustifichi l'uso di campioni di dimensioni ridotte per cose come sondaggi politici.

Potrei comprare che forse l'80-90% delle persone in un dato quartiere vota allo stesso modo per il presidente (a causa di simili contesti socioeconomici / educativi), ma questo non sembra giustificare l'assurdamente basso numero di campioni. Non c'è letteralmente alcun motivo convincente (almeno per me) per cui 1000 elettori casuali dovrebbero comportarsi come gli altri 200 milioni di elettori.

Per me, avresti almeno bisogno (diciamo) 100 × di tale importo. Perché? Posso pensare a una serie di ragioni, ad esempio:

1. Ci sono ~ 22.000 recinti proprio in California . Le persone crescono in modo così diverso nei loro contesti economici ed educativi che un sondaggio di dimensioni 1000 sembra ridicolmente piccolo. Come puoi riassumere interi recinti con <1 persona in media?

2. Le persone in genere non possono cambiare le risposte dei loro corpi alla medicina, ma possono cambiare le loro opinioni sulla politica semplicemente pensandoci. Per come la vedo io, non c'è alcun fattore di forzatura simile al DNA in medicina quando si ha a che fare con la politica. Nel migliore dei casi immagino che ci dovrebbero essere piccole sacche di correlazione.

Eppure in qualche modo, sondaggi come questo sembrano ... funzionare comunque? O almeno le persone sembrano pensare di si?
Ma perché dovrebbero? Forse fondamentalmente non capisco il campionamento ? Qualcuno può spiegare?
Non riesco proprio a prendere sul serio nessuno dei sondaggi che vedo, ma mi sento come se fossi più o meno solo in questo ...

Sembra che tu stia immaginando un modello di campionamento molto semplice.

Il modello più semplice per il campionamento si chiama appropriatamente campionamento casuale semplice . Seleziona un sottoinsieme della popolazione (ad es. Componendo i numeri di telefono in modo casuale) e chiedi a chiunque risponda a come stanno votando. Se 487 dicono Clinton, 463 dicono Trump, e il resto ti dà una risposta stravagante, la ditta elettorale segnalerebbe che il 49% degli elettori preferisce Clinton, mentre il 46% preferisce Trump. Tuttavia, le società elettorali fanno molto di più. Un semplice campione casuale dà uguale peso a ogni punto dati. Tuttavia, supponiamo che il campione contenga - per caso - 600 uomini e 400 donne, che chiaramente non sono rappresentativi della popolazione nel suo insieme. Se gli uomini come gruppo si inclinano in un modo, mentre le donne si appoggiano in un altro, questo influenzerà il tuo risultato. Tuttavia, poiché disponiamo di statistiche demografiche piuttosto buone, puoi ponderare *le risposte contando un po 'di più le risposte delle donne e un po' meno quelle degli uomini, in modo che la risposta ponderata rappresenti meglio la popolazione. Le organizzazioni di polling hanno modelli di pesatura più complicati che possono rendere un campione non rappresentativo simile a uno più rappresentativo.

L'idea di ponderare le risposte campionate è su un terreno statistico piuttosto solido, ma esiste una certa flessibilità nella scelta dei fattori che contribuiscono ai pesi. La maggior parte dei sondaggisti ripensa in base a fattori demografici come sesso, età e razza. Detto questo, potresti pensare che dovrebbe essere inclusa anche l'identificazione del partito (democratico, repubblicano, ecc.), Ma si scopre che la maggior parte delle aziende elettorali non lo usano nei loro pesi: l' identificazione del partito (auto) è aggrovigliata con la scelta dell'elettore in un modo che lo rende meno utile.

Molti sondaggi indicano anche i loro risultati tra i "probabili elettori". In questi, gli intervistati vengono selezionati o ponderati in base alla probabilità che si presentino effettivamente ai sondaggi. Anche questo modello è senza dubbio basato sui dati, ma la scelta precisa dei fattori consente una certa flessibilità. Ad esempio, includere le interazioni tra il candidato e la razza (o il genere) degli elettori non era nemmeno ragionevole fino al 2008 o al 2016, ma sospetto che abbiano un potere predittivo ora.

In teoria, potresti includere ogni genere di cose come fattori di ponderazione: preferenze musicali, colore degli occhi, ecc. Tuttavia, i fattori demografici sono scelte popolari per i fattori di ponderazione perché:

• Empiricamente, si correlano bene con il comportamento degli elettori. Ovviamente, non esiste una legge vestita di ferro che "costringa" i bianchi a essere magri repubblicani, ma negli ultimi cinquant'anni hanno avuto la tendenza.
  • I valori della popolazione sono ben noti (ad es. Dal censimento o Vital Records)

Tuttavia, i sondaggisti vedono anche le stesse notizie di tutti gli altri e, se necessario, possono regolare le variabili di ponderazione.

Ci sono anche alcuni "fattori di fondente" che a volte vengono invocati per spiegare i risultati del sondaggio. Ad esempio, gli intervistati a volte sono riluttanti a dare risposte "socialmente indesiderabili". L' effetto Bradley postula che a volte gli elettori bianchi minimizzano il loro sostegno ai candidati bianchi che si scontrano con una minoranza per evitare di apparire razzisti. Prende il nome da Tom Bradley, un candidato governativo afroamericano che ha perso per poco le elezioni nonostante abbia guidato comodamente nei sondaggi.

Infine, hai perfettamente ragione che l'atto stesso di chiedere l'opinione di qualcuno può cambiarlo. Le imprese elettorali cercano di scrivere le loro domande in modo neutrale. Per evitare problemi con l'ordine delle possibili risposte, i nomi dei candidati potrebbero essere elencati in ordine casuale. Le versioni multiple di una domanda sono talvolta testate l'una contro l'altra. Questo effetto può anche essere sfruttato per fini nefasti in un sondaggio push , in cui l'intervistatore non è effettivamente interessato a raccogliere risposte ma a influenzarle. Ad esempio, un sondaggio push potrebbe chiedere "Vorresti votare per [Candidato A] anche se fosse stato riferito che era un molestatore di minori?".

C'è un teorema matematico chiamato "legge dei grandi numeri". Immagina di voler determinare la probabilità che una moneta arrivi a testa alta. La "popolazione" di lanci di monete è l'infinito, molto più grande delle oltre 300.000.000 di persone negli Stati Uniti. Ma secondo la legge dei grandi numeri, più lanci di monete fai, più accurata sarà la tua stima.

Il sondaggio ideale: nel sondaggio ideale, i sondaggisti sceglierebbero casualmente nomi dal censimento degli Stati Uniti, scopriranno dove vivono quelle persone, poi andrebbero a bussare alla loro porta. Se la persona dice che stanno pianificando di votare, il sondaggista chiede per chi stanno votando e registra la loro risposta. Il polling come questo è matematicamente garantito per funzionare e la quantità di errore nella misurazione per ogni dato livello di confidenza può essere calcolata facilmente .

Ecco cosa significa l'errore: Supponiamo che in base al tuo sondaggio, hai una probabilità del 52% che Candidate Awesome McPerfect vincerà, con un errore del 3% con una sicurezza del 98%. Ciò significa che puoi essere sicuro del 98% che la parte reale degli elettori che preferiscono il candidato Awesome McPerfect è compresa tra il 49% e il 55%.

Una nota su errore e fiducia Per una data dimensione del campione, più sei sicuro di te, più grande sarà il tuo errore. Pensaci: sei sicuro al 100% che la vera proporzione che supporta canditate Awesome è tra lo 0% e il 100% (la maggior parte degli errori possibili) e sei sicuro allo 0% che la vera proporzione che supporta canditate Awesome è esattamente 52.0932840985028390984308% (errore zero). Più sicurezza significa più errore, meno fiducia significa meno errore. Tuttavia, il rapporto tra confidenza ed errore NON è lineare! (Vedi: https://en.wikipedia.org/wiki/Confidence_interval )

Sondaggi nel mondo reale: perché è costoso in elicottero sondaggisti in tutte le parti del paese bussare alle porte di persone a caso (anche se mi piacerebbe vederlo accadere; se sei un miliardario e vedi questo, per favore considerare di finanziare questo), i sondaggi nel mondo reale sono più complessi. Vediamo una delle strategie più comuni: chiamare elettori casuali e chiedere loro per chi voterebbero. È una buona strategia, ma ha alcuni fallimenti ben noti:

1. Le persone spesso scelgono di non rispondere al telefono e di rispondere ai sondaggisti (es. Me)
2. Alcuni dati demografici hanno maggiori probabilità di avere un telefono fisso (ad es. Elettori più anziani)
3. Alcuni dati demografici hanno maggiori probabilità di rispondere ai sondaggisti (ad es. Elettori più anziani)

Poiché diversi dati demografici votano in modi diversi, i sondaggisti devono fare del loro meglio per controllare le differenze nei loro dati grezzi (in base a chi ha deciso di rispondere al telefono) e i risultati delle elezioni effettive. Ad esempio, se il 10% delle persone che hanno preso il telefono erano ispanici, ma il 30% degli elettori nelle ultime elezioni era ispanico, allora darebbero il triplo del peso agli elettori ispanici nel loro sondaggio. Se il 50% delle persone che hanno risposto al telefono aveva più di 60 anni, ma solo il 30% delle persone che hanno votato nelle ultime elezioni aveva più di 60 anni, darebbe meno peso agli elettori più anziani che hanno risposto. Non è perfetto, ma può portare ad alcune impressionanti imprese di predizione (Nate Silver ha previsto correttamente i risultati in ciascuno dei 50 stati delle elezioni del 2012 usando statistiche,

Un avvertimento per i saggi: i sondaggisti fanno le migliori previsioni che possono basarsi su come le cose hanno funzionato in passato. In generale , le cose si comportano allo stesso modo ora come in passato, o almeno il cambiamento è abbastanza lento che il passato recente (su cui si concentrano maggiormente) assomiglierà al presente. Tuttavia, a volte ci sono rapidi cambiamenti nell'elettorato e le cose vanno male. Forse gli elettori di Trump hanno un po 'meno probabilità del tuo elettore medio di rispondere al telefono e la ponderazione per demografia non tiene conto di ciò. O forse i giovani (che sostengono in modo schiacciante Hillary) lo sono ancora di piùè improbabile che risponda al telefono rispetto ai modelli previsti, e quelli che rispondono al telefono hanno più probabilità di essere repubblicani. O forse è vero il contrario di entrambi - non lo sappiamo. cose del genere sono variabili nascoste che non compaiono nei dati demografici comunemente raccolti.

Noi vorremmo sapere se abbiamo mandato sondaggisti per bussare alle porte casuali (ahem, billionare immaginaria lettura di questo), da allora non avremmo a cose peso in base ai dati demografici, ma fino ad allora, le dita incrociate.

Innanzitutto, questo è a parte i punti principali, ma vale la pena menzionarlo. Nella sperimentazione medica potresti avere 1000 persone che testano un farmaco che può essere somministrato a 10000 persone che si ammalano ogni anno. Potresti guardarlo e pensare "È in fase di test sul 10% della popolazione", in realtà la popolazione non è 10000 persone, sono tutti i pazienti futuri, quindi la dimensione della popolazione è infinita. 1000 persone non sono grandi rispetto agli infiniti potenziali utilizzatori del farmaco, ma questo tipo di studi funziona. Non è importante testare il 10%, 1% o 0,1% della popolazione; l'importante è la dimensione assoluta del campione, non quanto è grande rispetto alla popolazione.

Successivamente, il punto principale è che ci sono così tante variabili confuse che possono influenzare il voto delle persone. Stai trattando i 22000 distretti della California come 22000 variabili, ma in realtà sono solo una manciata di variabili (reddito e istruzione come hai menzionato). Non hai bisogno di un campione rappresentativo di ogni distretto, hai solo bisogno di campioni sufficienti per coprire la variazione dovuta a reddito, istruzione, ecc.

Se hai $k$ variabili confondenti (età, genere, istruzione, ect) e tutti hanno effetti simili, quindi la varianza del voto aumenta di circa $k$volte. Se campionate$n$ le persone quindi la varianza della media del campione diminuisce di un fattore di $n$. Pertanto, se la variazione da ciascuna variabile confondente è$\sigma^2$ quindi la media del campione da $n$ persone con $k$ saranno variabili confondenti $\frac{k\sigma^2}{n}$.

Probabilmente puoi pensare a circa 10 variabili così confuse, ma la dimensione del campione è 1000 $k$ è molto più piccolo di $n$. Pertanto la varianza della media del campione è piuttosto piccola.

Modificare:

La formula sopra presupponeva che ogni variabile confondente fosse ugualmente importante. Se vogliamo considerare centinaia di cose che possono aggiungere varianza ai risultati, questo presupposto non è valido (ad esempio, forse gli utenti di Twitter supportano un altro candidato, ma sappiamo che l'uso di Twitter non è importante quanto il genere).

Potremmo elencare tutte le variabili confondenti in ordine di importanza (ad esempio sesso, età, reddito, ..., uso di Twitter, ...). Supponiamo che ogni variabile sia importante solo del 90% rispetto alla precedente. Ora se il genere aggiunge una varianza uguale a$\sigma^2$ quindi l'età aggiunge una varianza uguale a $0.9 \sigma^2$ e il reddito aggiunge $0.9^2 \sigma^2$. Se includiamo un numero infinito di variabili confondenti, allora la variabilità totale è$\sum_{n=0}^{\infty} \sigma^2 0.9^n = 10 \sigma^2$.

Con questo tipo di considerazione per le variabili minori abbiamo finito con una varianza con una variabilità 10 volte superiore al solo genere. Quindi con$n$ campiona la variazione nella media del campione è $\frac{10\sigma^2}{n}$. Ovviamente$0.9$ è stato scelto in modo arbitrario, ma ciò trasmette un punto su come questo numero infinito di variabili minori dovrebbe sommarsi a qualcosa di piccolo