Esiste un pregiudizio noto nei sondaggi telefonici negli Stati Uniti?


11

Stavo guardando un sondaggio WashingtonTimes / ABC e la scomposizione dei risultati, soprattutto per età, mi è sembrata sorprendente. Quindi sono andato alla ricerca di parzialità.

Disse: "Il sondaggio è stato condotto per telefono l'11-14 dicembre 2014, tra un campione casuale di 1.000 adulti. Le interviste sono state condotte in inglese e spagnolo su telefoni fissi e cellulari".

Il sondaggio non mi ha dato il numero di intervistati in ogni fascia di età e il mio primo pensiero è stato che tipo di 18-29 anni è a casa per rispondere al telefono ?! OK, includono il cellulare, il che lo rende un po 'più giusto. Ma comunque, che tipo di 18-29 anni risponde al proprio cellulare, viene chiesto se vogliono fare un sondaggio e dice "sì, certo".

(Non intendo questo come una domanda retorica; il mio sospetto è che alcuni gruppi sono molto più probabili, ad esempio qualcuno con una bassa autostima potrebbe godere del processo di chiedere la propria opinione da uno sconosciuto al telefono.)

Quindi, c'è qualche ricerca su questo argomento? Un'organizzazione interessata a manipolare l'opinione pubblica sceglierebbe un sondaggio telefonico, su sondaggi online o intervistando per strada, se fosse dopo uno specifico pregiudizio?


2
Non esiste un "pregiudizio generale" per il tipo generale di studi. Variano da studio a studio.
Tim

3
Quando vedi i risultati di un sondaggio (rispettabile), i numeri sono quasi sempre adeguati alla distorsione da selezione. Vale anche la pena notare che ci sono modi molto più semplici per influenzare un sondaggio piuttosto che forzare una specifica metodologia di sondaggio.
Andy Jones,

3
Fwiw sono quel 18-29 anni
Shadowtalker

@ssdecontrol Quello a bassa autostima? Voglio solo che tu sappia che tutti noi pensiamo che tu sia fantastico, e sicuramente parlerei con te alle feste. :-)
Darren Cook,

@DarrenCook hahaha no, la categoria più ampia che risponde effettivamente alle interviste telefoniche! Ma grazie per il rafforzamento della fiducia
Shadowtalker il

Risposte:


7

C'è un bel studio di Pew che guarda a quanti tassi di risposta sono diminuiti e anche quali sono gli effetti.

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

"Un nuovo studio del Pew Research Center for the People & the Press rileva che, nonostante il calo dei tassi di risposta, i sondaggi telefonici che includono telefoni fissi e cellulari e sono ponderati per adeguarsi alla composizione demografica della popolazione continuano a fornire dati accurati sulla maggior parte dei politici , misure sociali ed economiche. Ciò si confronta con il record costante di accuratezza raggiunto dai principali sondaggi quando si tratta di stimare i risultati elettorali, tra le altre cose.

"Questo non vuol dire che i tassi di risposta in calo siano privi di conseguenze. Un'area significativa di potenziali distorsioni della mancata risposta identificata nello studio è che i partecipanti al sondaggio tendono ad essere significativamente più impegnati in attività civiche rispetto a coloro che non partecipano, confermando ciò che precedente la ricerca ha dimostrato che le persone che si offrono volontariamente hanno maggiori probabilità di accettare di partecipare alle indagini rispetto a quelle che non fanno queste cose, il che ha serie implicazioni per la capacità di un'indagine di valutare accuratamente i comportamenti correlati al volontariato e all'attività civica, ad esempio le indagini telefoniche può sopravvalutare comportamenti come la frequenza in chiesa, il contatto con funzionari eletti o la partecipazione a eventi della campagna ".


1
Anche l'altra risposta è stata eccellente; Ho dato questo segno di spunta poiché questo rapporto ha esattamente il tipo di numeri che stavo cercando.
Darren Cook,

14

Esiste un pregiudizio noto nei sondaggi telefonici negli Stati Uniti?

Sì, esiste un pregiudizio noto nei sondaggi telefonici negli Stati Uniti: i telefoni cellulari.

Per molto tempo, il gold standard del sondaggio telefonico randomizzato negli Stati Uniti era la composizione a cifre casuali: le macchine generavano numeri di telefono casuali e i sondaggisti ponevano domande a chiunque avesse raccolto. Supponendo che tutti avessero un solo telefono, il sondaggio era un semplice campione casuale di proprietari di telefoni.

Tuttavia, l'arrivo dei cellulari ha cambiato questo: molte persone, specialmente i giovani, non hanno rete fissa. Anche all'interno di specifici dati demografici (fascia di età, genere, razza), queste popolazioni solo cellulari hanno distinti atteggiamenti politici dalle popolazioni con telefoni fissi o entrambi i tipi di telefoni. Dal momento che è illegale per i dialer automatici chiamare i cellulari, questo provoca il caos con i sondaggi.

Per i sondaggisti, ciò significa che devono usare gli esseri umani per chiamare tutti i cellulari, il che è ovviamente molto più costoso. Quindi i sondaggisti devono, a priori , decidere quanti cellulari devono chiamare per controllare i costi. Il numero di chiamate da cellulare deve essere bilanciato rispetto al numero di chiamate da rete fissa automatiche in modo scientificamente valido: comporre un numero sufficiente di case solo per cellulare, case solo fisse e case con entrambi in proporzione alla loro incidenza nella popolazione, anche se non superando il loro budget!

L'effetto dei cellulari probabilmente non è la fonte di potenziali distorsioni.

Sospetto che i sondaggisti che il sondaggio del Washington Times / ABC abbia usato siano ben consapevoli di tutto ciò, dal momento che il modo in cui costruire un campione casuale alla luce dell '"effetto cellulare" è praticamente l' argomento con cui tutti i sondaggi politici contemporanei affrontano oggi. Quindi è probabile che i sondaggisti abbiano preso provvedimenti per mitigare "l'effetto cellulare" in questo sondaggio. Tuttavia, forse i sondaggisti hanno avuto una brutta giornata e la loro composizione casuale dei numeri di cellulare non ha prodotto abbastanza risposte effettive.

Se c'è distorsione, potrebbero essere i pesi del campione.

Un'altra potenziale fonte di distorsione in questi sondaggi è la ponderazione del campione. L'obiettivo di ponderare i campioni è ridurre il numero di persone che è necessario raggiungere in vari (gruppi di) gruppi demografici attribuendo pesi diversi a diversi segmenti di popolazione. Questo, ovviamente, porta alla domanda "come fai a sapere di aver ponderato correttamente il campione?" Questo è il motivo per cui alcune società di polling avranno stime costantemente superiori / inferiori a quelle di altre società di polling: hanno metodi diversi per ponderare il campione e ciò porta costantemente il risultato in una direzione particolare.

Questo è un esempio del compromesso di bias varianza. I sondaggisti potrebbero utilizzare un campione casuale piccolo e semplice per ottenere una stima della varianza elevata. Oppure potrebbero usare i pesi per ridurre la varianza della stima rispetto al piccolo campione, ma a scapito della distorsione (statistica).

I sondaggisti (e gli statistici in generale) devono affrontare tutti in un modo o nell'altro il compromesso della variazione di pregiudizio. Non significa necessariamente che siano malevoli o che stiano tentando di manipolare il pubblico.

Spiegazioni alternative abbondano.

Ci sono molti modi per rovinare un sondaggio, accidentalmente o deliberatamente. La riformulazione di una domanda può dare risposte diverse tra gruppi diversi. Il polling push, in cui le domande sono formulate per suscitare una risposta particolare, è l'esempio più ovvio e nefasto di questo.

Un'organizzazione interessata a manipolare l'opinione pubblica sceglierebbe un sondaggio telefonico, su sondaggi online o intervistando per strada, se fosse dopo uno specifico pregiudizio?

Questa domanda non è del tutto statistica, in quanto richiede speculazioni sui motivi e sui metodi di qualche ipotetica entità malevola. Posso solo rispondere parzialmente.

Intervistare le persone per strada non è davvero casuale ed è probabilmente di parte (nel senso che tenderà a includere alcuni gruppi in proporzione maggiore di altri).

L'obiettivo della composizione a cifre casuali è quello di raggiungere uno stato in cui tutti abbiano pari probabilità di selezione. Andare in un angolo della strada e intervistare le persone non riesce a raggiungere questo obiettivo, perché tenderai a includere le persone che vivono e lavorano nelle vicinanze. Se vai in una strada a Washington, DC, avrai quasi 0 possibilità di selezionare una persona che non proviene da DC, Maryland o Virginia.

Inoltre, considera in quale strada vai. Intervistare persone per strada nel quartiere di Cleveland Park a Washington, DC, per esempio, sarà molto diverso da intervistare persone per strada in Anacostia: questi luoghi hanno una composizione demografica molto distinta.

Il polling delle persone online non è davvero casuale, ma non è chiaro se sia peggio del polling telefonico.

La popolazione di persone che aderiscono a un sondaggio online è una popolazione autoselezionante, non necessariamente campionata casualmente da tutti i potenziali intervistati. Per questo motivo, i sondaggisti tradizionali che tendono a favorire il polling telefonico sono molto scettici nei confronti dei sondaggi online. Tuttavia, persone come Andrew Gelman sono meno certi che il risultato finale di un sondaggio telefonico composto a caso e di un sondaggio online auto-selezionato sia significativamente diverso. Questa è un'area di ricerca molto aperta.


Hai davvero bisogno di una formattazione così audace?
gung - Ripristina Monica

@gung in realtà si legge molto bene sull'app per iPhone
shadowtalker il

3
@gung Volevo romperlo in modo che potesse essere facilmente navigato e non apparire come un muro di testo. È meglio questo?
Sycorax dice Reinstate Monica il

1
Non posso parlare per gli altri (ad esempio, @ssdecontrol) o come appare sui dispositivi mobili, ma mi sembra molto più bello. Grazie.
gung - Ripristina Monica

1

Un'organizzazione interessata a manipolare l'opinione pubblica sceglierebbe un sondaggio telefonico, su sondaggi online o intervistando per strada, se fosse dopo uno specifico pregiudizio?

Tutti i metodi di polling possono essere distorti, compresi alcuni altri non menzionati nella domanda.

Per rappresentare in modo eccessivo i punti di vista degli anziani, scegliere un sondaggio telefonico e 'dimenticare' di normalizzare le fasce di età, sapendo che gli intervistati più giovani erano scarsamente rappresentati.

Il polling di strada senza alcuna impostazione di quota e normalizzazione sarebbe probabilmente il modo più semplice per ottenere una distorsione. Come da Sycorax, scegli la tua strada. Anche il polling nell'orario di lavoro o fuori di essi trasformerebbe i risultati. Una volta ero un intervistatore di strada. Abbiamo lavorato su quote fisse rigorose che combinano fascia d'età, genere e classe sociale, ma all'interno di questo ero consapevole della mia tendenza ad avvicinarmi alle persone entro le quote di cui mi piaceva l'aspetto (persone che erano un po 'come me, se ti piace) piuttosto rispetto alle persone all'interno della quota che avevano un fascino visivo meno immediato. E non credo che avessero quote per i tipi di intervistatore!

I giornali scandalistici britannici conducono regolarmente "sondaggi" di auto / selezione dei propri lettori, in genere su una domanda emotiva di primo piano, riportando i risultati come se fossero un vero sondaggio rappresentativo della popolazione e spesso con maggiore rilevanza di un'adeguata etica sondaggi condotti.

Come ha commentato Andy Jones, ci sono modi molto più semplici per distorcere un sondaggio. Scelta di date e orari, aggiustamenti della formulazione (in particolare nei sondaggi Prima e Dopo), domande principali, domande preliminari o di filtro sull'umore della direttiva, ipotesi riduzioniste, scelte di risposta limitate e così via. A Londra, varie sezioni di gestione del traffico comunale, di gestione dei parcheggi e di consultazione pubblica sembrano rendere tali tecniche subdole la loro specialità.

In genere, se stanno introducendo restrizioni al traffico, consulteranno solo i residenti all'interno di un'area ristretta e gli autisti non lo saranno affatto. I residenti riceveranno una carta con un segno di spunta dalla loro porta, o forse due carte in una grande proprietà vecchia che è divisa in cinque o sette appartamenti separati.

Una forma di parzialità del sondaggio davvero imbattibile, sebbene non faccia parte del processo di polling stesso, è di condurla in qualsiasi modo (ad es. Perfettamente) e quindi semplicemente sopprimere i risultati se non si adattano. Un'associazione di residenti per un'area in cui una volta vivevo, controllata con una mano di ferro da un funzionario sindacale molto manipolatore, fece esattamente questo.

Alla fine, nel 2004, tornando da una vacanza all'aeroporto di Stansted mi sono trovato di fronte a una "porta" composta da una doppia parete in perspex e un rilevatore di movimento. I passeggeri sono stati invitati a camminare attraverso questa porta opzionale se volevano far accadere le Olimpiadi a Londra. Una considerevole minoranza dell'opinione pubblica a quel tempo non era entusiasta di ottenere una grossa fattura per un evento di vanità, ricordando l'onere fiscale greco e la corruzione nello Utah, e il team di Londra Back the Bid stava cercando di ottenere sostegno.

Potevi attraversare la porta tutte le volte che volevi per registrare un "voto" (si chiamava così) ogni volta per le Olimpiadi, per la gioia delle famiglie con bambini piccoli. Ahimè, si sono dimenticati di fornire una seconda porta per le persone che non volevano un grosso conto da 30 anni, o per persone come me che pensavano che Parigi fosse degna dell'evento.

Stranamente, il risultato in stile sovietico fu che il 100% dei britannici voleva le Olimpiadi. Li pagherò ancora a lungo fino alla pensione. Cose pratiche, sondaggi.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.