Risultati elettorali USA 2016: cosa è andato storto nei modelli di previsione?


108

Prima era la Brexit , ora le elezioni statunitensi. Molte previsioni del modello sono state respinte con ampio margine e ci sono lezioni da imparare qui? Già alle 16:00 PST di ieri, i mercati delle scommesse favorivano ancora Hillary 4 a 1.

Immagino che i mercati delle scommesse, con denaro reale sulla linea, dovrebbero fungere da insieme di tutti i modelli di previsione disponibili là fuori. Quindi non è inverosimile dire che questi modelli non hanno fatto un ottimo lavoro.

Ho visto una spiegazione: gli elettori non erano disposti a identificarsi come sostenitori di Trump. Come può un modello incorporare effetti del genere?

Una spiegazione macro che ho letto è l'ascesa del populismo . La domanda quindi è: come potrebbe un modello statistico catturare una tendenza macro del genere?

Questi modelli di previsione stanno dando troppo peso ai dati provenienti da sondaggi e opinioni, non abbastanza da dove il paese si trova in una visione di 100 anni? Sto citando i commenti di un amico.


9
Come stimare il "riluttante a identificarsi come sostenitore di Trump". effetto: forse focus group? Questa è più una questione di scienze sociali che statistiche di per sé.
kjetil b halvorsen,

100
Perché i modelli devono essere sbagliati solo perché hanno previsto un risultato che non si è verificato? Ho un modello che dice che un dado probabilmente non mostrerà un sei, ma a volte mostra comunque un sei.
Dsaxton,

4
Non sono sicuro che i modelli si siano davvero appoggiati pesantemente sul lato sbagliato. Stavamo leggendo correttamente l'output dei modelli? Concordo anche con il commento di Dsaxton.
Richard Hardy,

7
Alcune buone riflessioni sul blog di Andrew Gelman qui .
Richard Hardy,

22
Se le probabilità erano 4: 1, l'esito meno comune dovrebbe ancora verificarsi frequentemente. Cioè, i mercati delle scommesse avrebbero potuto avere ragione.
gung

Risposte:


57

In breve, il polling non è sempre facile. Queste elezioni potrebbero essere state le più difficili.

Ogni volta che stiamo cercando di fare un'inferenza statistica, una domanda fondamentale è se il nostro campione è una buona rappresentazione della popolazione di interesse. Un presupposto tipico che è richiesto per molti tipi di inferenza statistica è quello di avere il nostro campione come un campione completamente casuale dalla popolazione di interesse (e spesso, abbiamo anche bisogno che i campioni siano indipendenti). Se queste ipotesi sono vere, in genere abbiamo buone misure della nostra incertezza basate sulla teoria statistica.

Ma non abbiamo assolutamente queste ipotesi valide con i sondaggi! Abbiamo esattamente 0 campioni dalla nostra popolazione di interesse: voti effettivi espressi al giorno delle elezioni. In questo caso, non possiamo fare alcun tipo di inferenza valida senza ulteriori ipotesi non verificabili sui dati. O almeno non verificabile fino a dopo il giorno delle elezioni.

Ci arrendiamo completamente e diciamo "50% -50%!"? In genere no. Possiamo provare a fare ciò che crediamo siano ipotesi ragionevoli su come saranno espressi i voti. Ad esempio, forse vogliamo credere che i sondaggi siano stime imparziali per i voti del giorno delle elezioni, oltre a un certo rumore temporale imparziale (cioè, l'evoluzione dell'opinione pubblica col passare del tempo). Non sono un esperto di metodi di polling, ma credo che questo sia il tipo di modello 538 utilizzato. E nel 2012 ha funzionato abbastanza bene. Quindi quei presupposti erano probabilmente abbastanza ragionevoli. Sfortunatamente, non esiste un modo reale di valutare tali assunzioni, al di fuori del ragionamento strettamente qualitativo. Per ulteriori discussioni su un argomento simile, vedere l'argomento Mancanza non ignorabile.

La mia teoria del perché i sondaggi hanno fatto così male nel 2016: i sondaggi non erano stime imparziali del comportamento del giorno degli elettori. Cioè, immagino che i sostenitori di Trump (e probabilmente anche i sostenitori della Brexit) fossero molto più diffidenti nei confronti dei sondaggisti. Ricorda che Mr. Trump ha attivamente denunciato i sondaggi. In quanto tale, penso che i sostenitori di Trump avessero meno probabilità di riferire ai sondaggi le loro intenzioni di voto rispetto ai sostenitori dei suoi avversari. Vorrei ipotizzare che ciò abbia causato un imprevisto pesante pregiudizio nei sondaggi.

In che modo gli analisti potrebbero averne tenuto conto quando hanno utilizzato i dati del sondaggio? Basandosi esclusivamente sui dati del sondaggio, non esiste un modo reale per farlo in modo quantitativo. I dati del sondaggio non dicono nulla su coloro che non hanno partecipato. Tuttavia, si potrebbe essere in grado di migliorare i sondaggi in modo qualitativo, scegliendo ipotesi più ragionevoli (ma non verificabili) sulla relazione tra i dati dei sondaggi e il comportamento del giorno delle elezioni. Questa è una cosa non banale e la parte veramente difficile dell'essere un bravo sondaggista (nota: non sono un sondaggista). Si noti inoltre che i risultati sono stati molto sorprendenti anche per gli esperti, quindi non è come se ci fossero segni evidenti che le ipotesi erano selvaggiamente fuori questa volta.

Il polling può essere difficile.


1
@horaceT: come avrebbero saputo che c'erano pregiudizi fino a quando non avessero avuto campioni dalla popolazione di interesse? Una delle rughe qui è che storicamente, immagino che questo problema riguardi il rumore anziché il pregiudizio . Se entrambe le parti hanno livelli uguali di mancata risposta, le stime saranno imparziali, leggermente più rumorose. Ma dal momento che Trump ha condotto una campagna con opinioni fortemente negative sulla copertura mediatica e sui sondaggi, molto più di ogni precedente elezione, la mancata risposta avrebbe potuto facilmente essere molto sbilanciata verso la rappresentazione dei voti di Trump. Questo avrebbe un effetto che i sondaggisti avrebbero ...
Cliff AB,

38
Per quello che vale, non penso ancora che il 538 sia davvero fallito. Ha dato una probabilità del ~ 30% (?) Alla vittoria di Trump, il che è dannatamente buono - significa che per ogni 2-3 volte che dovrebbe essere giusto, si aspettava di sbagliare 1 volta. È un'enorme quantità di incertezza, molto più di quanto altri sondaggi sembrino disposti ad ammettere.
Mehrdad,

3
Questo effetto è ben noto: si chiama effetto Bradley negli Stati Uniti e l'effetto Shy Tory nel Regno Unito.
Emilio Pisanty,

15
538 (e altre cose come la PEC di Sam Wang) non sono sondaggi. Sono modelli costruiti in base ai risultati del sondaggio. Tutti questi modelli hanno iniziato sostanzialmente con gli stessi dati, ma il 538 ha predetto molta più incertezza nei risultati per ragioni che Nate Silver ha discusso ampiamente delle pre-elezioni. Ciò significava che la probabilità 538 di una vittoria di Hillary era molto più bassa anche se utilizzava gli stessi sondaggi. Concordo sul fatto che il 538 non ha fallito - dato il suo contributo, una vittoria di Hillary con molta incertezza sembra la migliore previsione anche col senno di poi.
KAI,

6
Ho letto per la prima volta la previsione 538 finale la mattina dopo le elezioni, e in essa Nate Silver afferma chiaramente che un margine di errore del 3% andrebbe bene nel solito intervallo - e se guardi la sua tabella di un margine di errore del 3% a favore di Trump, si allinea abbastanza bene con ciò che è realmente accaduto.
Xiong Chiamiov

35

Esistono diverse fonti di errore di polling:

  • Trovi alcune persone difficili da raggiungere

    Questo viene corretto eseguendo l'analisi demografica, quindi correggendo il tuo pregiudizio di campionamento. Se l'analisi demografica non riflette le cose che rendono le persone difficili da raggiungere, questa correzione non ripara il danno.

  • Le persone mentono

    Puoi utilizzare i tassi storici a cui le persone mentono ai sondaggisti per influenzare il tuo modello. Ad esempio, storicamente le persone dichiarano che voteranno la terza parte molto più di quanto facciano effettivamente il giorno delle elezioni. Le tue correzioni possono essere sbagliate qui.

    Queste bugie possono anche confondere le altre correzioni; se mentono sul voto alle ultime elezioni, possono essere considerati come un probabile elettore anche se non lo sono, per esempio.

  • Solo le persone che votano finiscono per contare

    Qualcuno può avere molto supporto, ma se i loro sostenitori non si presentano il giorno delle elezioni, non conta. Questo è il motivo per cui abbiamo modelli di elettori registrati, probabili elettori, ecc. Se questi modelli sono sbagliati, le cose non funzionano.

  • Il polling costa denaro

    Fare sondaggi è costoso e se non ti aspetti (diciamo) che il Michigan si capovolga, potresti non farlo molto spesso. Ciò può sorprendere se uno stato in cui hai votato 3 settimane prima delle elezioni non assomiglia a quello del giorno delle elezioni.

  • Le persone cambiano idea

    Nel giro di minuti, ore, giorni, settimane o mesi, le persone cambiano idea. Il sondaggio su "cosa faresti ora" non aiuta molto se cambiano idea prima che conti. Ci sono modelli che indovinano approssimativamente la velocità con cui le persone cambiano idea sulla base di sondaggi storici.

  • herding

    Se tutti gli altri affermano che Hillary è +3 e ricevi un sondaggio che mostra Hillary +11 o Donald +1, potresti metterlo in discussione. Potresti fare un altro passaggio e vedere se c'è un errore di analisi. Potresti persino buttarlo fuori e fare un altro sondaggio. Quando ricevi un sondaggio di Hillary +2 o +4, potresti non farlo. Enormi valori anomali, anche se il modello statistico dice che succede a volte, possono farti "sembrare cattivo".

    Una forma particolarmente scadente di ciò è avvenuta il giorno delle elezioni, dove tutti coloro che hanno pubblicato un sondaggio si sono magicamente convertiti allo stesso valore; probabilmente hanno sondaggi anomali, ma nessuno vuole essere quello che ha detto (diciamo) Hillary +11 il giorno prima di questa elezione. Sbagliare in un branco ti fa meno male.

  • Errore di campionamento previsto

    Se hai 1 milione di persone e chiedi a 100 persone perfettamente casuali e la metà dice "Apple" e la metà dice "Orange", l'errore previsto che potresti ottenere dal campionamento è +/- 10 o giù di lì, anche se nessuno dei problemi di cui sopra si verificano. Quest'ultimo bit è ciò che i sondaggi descrivono come il loro margine di errore. I sondaggi raramente descrivono ciò che i suddetti fattori di correzione potrebbero introdurre come errore.


Nate Silver a 538 era uno dei pochi aggregatori di sondaggi che utilizzava mezzi conservativi (cauti) per gestire la possibilità dei suddetti tipi di errori. Ha preso in considerazione la possibilità di errori sistemici correlati nei modelli di polling.

Mentre altri aggregatori prevedevano una probabilità del 90% + di probabilità che fosse eletto HC, Nate Silver affermava il 70%, perché i sondaggi si trovavano all'interno del "normale errore di polling" della vittoria di Donald.

Questa era una misura storica dell'errore del modello , al contrario dell'errore di campionamento statistico grezzo; e se il modello e le correzioni al modello fossero sbagliati?


Le persone stanno ancora scricchiolando i numeri. Ma i risultati preliminari indicano che gran parte di questi erano modelli di affluenza. I sostenitori di Donald si sono presentati ai sondaggi in numero maggiore, e i sostenitori di Hillary in numero minore, rispetto ai modelli di sondaggio (e ai sondaggi di uscita!) Indicati.

Latino ha votato più per Donald del previsto. I neri hanno votato più per Donald del previsto. (La maggior parte di entrambi ha votato per Hillary). Le donne bianche hanno votato più per Donald del previsto (più di loro hanno votato per Donald di Hillary, il che non era previsto).

L'affluenza alle urne è stata bassa in generale. I democratici tendono a vincere quando c'è un'alta affluenza alle urne e i repubblicani quando c'è bassa.


1
Un interessante problema di turnover è che lo stesso sondaggio influenza l'affluenza alle urne. Esiste un modello di affluenza per questo? Dovrebbe essere possibile avere una funzione che accetta l'affluenza prevista al sondaggio e modificarla per entrambe le parti in base alle prospettive del candidato. Un candidato molto indietro potrebbe non avere più elettori che sono più preoccupati dopo aver visto il sondaggio descrivere le prospettive del loro candidato come terribili, ma se il tuo candidato è molto avanti, potresti non lavorare così duramente per uscire per votare ... Ovviamente non è un funzione lineare, ma dovrebbe essere misurabile.
BenPen,

2
+1 da parte mia solo per menzionare la pastorizia e spiegarla bene. Mentre analizzavo la mia risposta, ero molto sospettoso che potesse accadere un branco a partire dal 5 o circa (3 giorni dall'elezione) in base al grafico 538. Immagino che scopriremo di più su quali errori sono stati realmente nei prossimi giorni. (Sai che sei un secchione quando stai aggiornando ossessivamente una pagina web per contemplare la seconda derivata di una curva del grafico lì).
TED,

Non so come lo spieghi, ma penso che ci sia uno stigma associato a Trump che renderebbe difficile quantificare correttamente il suo sostegno effettivo e si manifesterebbe solo nei risultati elettorali effettivi. Mi piace pensarlo come il corollario dell'autoadesivo del paraurti: George W. Bush e Obama erano entrambi presidenti di 2 mandato, ma mentre un adesivo per paraurti di Obama è diffuso e ornato con orgoglio sulle auto, un adesivo per paraurti di Bush era come un quadrifoglio. Ci sono alcuni candidati in cui il sostegno aperto trae troppo calore e vetriolo dall'opposizione e il supporto è molto modesto.
coburne,

3
@coburne Non c'erano prove di ciò nelle primarie; I sostenitori di Trump non sono stati timidi. Gli adesivi per paraurti Bush erano popolari in diverse aree rispetto agli adesivi per paraurti Obama.
Yakk,

@coburne - Quello di cui stai parlando si chiama The Bradley Effect . C'è un enorme dibattito sul fatto che esista. C'è stato uno studio, tuttavia, che presumibilmente ha trovato il suo potere approssimativamente proporzionale a quanta retorica carica razzialmente è stata usata nella campagna. Non credo che ci sia molto dibattito sul fatto che molto di ciò sia stato usato in questo.
TED

31

Questo è stato menzionato nei commenti sulla risposta accettata (punta di cappello a Mehrdad ), ma penso che dovrebbe essere sottolineato. 538 in realtà ha fatto abbastanza bene questo ciclo * .

538 è un aggregatore di polling che esegue modelli contro ogni stato per cercare di prevedere il vincitore. La loro corsa finale ha dato a Trump circa il 30% di possibilità di vincere. Ciò significa che se avessi corso tre elezioni con dati come questo, ti aspetteresti che il Team Red vincerà uno di loro. Non è poi così piccola possibilità. È certamente abbastanza grande che ho preso delle precauzioni (ad esempio: il venerdì prima di chiedere mercoledì 9 di riposo al lavoro, considerando la probabilità che fosse abbastanza vicino da essere a tarda notte).

Una cosa che 538 ti dirà se esci è che se i sondaggi sono disattivati, ci sono buone probabilità che andranno tutti nella stessa direzione. Questo per un paio di ragioni.

  • Probabili modelli di elettori. I sondaggi devono adattarsi ai tipi di elettori che si presenteranno effettivamente il giorno delle elezioni. Abbiamo modelli storici, ma ovviamente questa non era la tua tipica coppia di candidati, quindi prevedere sulla base dei dati passati sarebbe sempre stato un po 'un tiro al piattello.
  • Elezione tardo pastorizia . Nessuno vuole essere il sondaggio che ha peggiorato le elezioni il peggio. Quindi, anche se a loro non importa essere un outlier nel mezzo di una campagna, alla fine tutti i sondaggi tendono a modificarsi in modo da dire la stessa cosa. Questa è una delle cose che è stata incolpata del fatto che i sondaggi siano stati così egregiamente interrotti dalla perdita a sorpresa di Eric Cantor nel 2014, e anche per i risultati sorprendentemente vicini della gara del Senato della Virginia del 2014 .

* - 538 ha ora pubblicato la propria analisi . È in gran parte in contrasto con quanto detto sopra, ma vale la pena leggere se vuoi molti più dettagli.


Ora un po 'di speculazioni personali. In realtà ero scettico sulle ultime probabilità% del 538 per i suoi ultimi 3 giorni. Il motivo risale al secondo proiettile sopra. Diamo un'occhiata alla storia del loro modello per queste elezioni (dal loro sito Web)

inserisci qui la descrizione dell'immagine

(Purtroppo, le etichette lo oscurano, ma dopo questo le curve sono divergute di nuovo negli ultimi tre giorni, con una probabilità superiore al 70% per Clinton)

Lo schema che vediamo qui è la divergenza ripetuta seguita dal decadimento verso un vantaggio di Trump. Le bolle di Clinton sono state tutte causate da eventi. Il primo erano le convenzioni (di solito c'è un paio di giorni di ritardo dopo che un evento inizia a comparire nel sondaggio). Il secondo sembra essere stato avviato dal primo dibattito, probabilmente aiutato dal nastro TMZ. Poi c'è il terzo punto di flesso che ho segnato nella foto.

È successo il 5 novembre, 3 giorni prima delle elezioni. Quale evento ha causato questo? Un paio di giorni prima c'era un'altra email-flareup, ma non avrebbe dovuto funzionare a favore di Clinton.

La migliore spiegazione che ho potuto trovare in quel momento era il sondaggio. Mancavano solo 3 giorni alle elezioni, 2 giorni fino ai sondaggi finali e i sondaggisti avrebbero iniziato a preoccuparsi dei risultati finali. La "saggezza convenzionale" di questa intera elezione (come evidenziato dai modelli di scommesse) è stata una facile vittoria di Clinton. Quindi sembrava una chiara possibilità che questa non fosse affatto una vera inflessione. Se così fosse, la vera curva dal 5 novembre in poi era probabilmente una continuazione di questa verso la convergenza.

Ci vorrebbe un matematico migliore di me per stimare la curva in avanti qui senza questo sospetto punto di flesso finale, ma guardandolo negli occhi penso che l' 8 novembre sarebbe stato vicino al punto di crossover . Davanti o dietro dipende da quanta parte di quella curva era effettivamente reale.

Ora non posso dire con certezza che è quello che è successo. Ci sono altre spiegazioni molto plausibili (ad esempio: Trump ha ottenuto i suoi elettori molto meglio di quanto si aspettasse qualsiasi sondaggista) Ma era la mia teoria per quello che stava succedendo in quel momento, e certamente si è rivelato predittivo.


1
Penso che questa strana inflessione nei sondaggi negli ultimi giorni sarebbe stata meglio analizzata, ma i sostenitori di Clinton hanno visto quello che volevano vedere, e i sostenitori di Trump avevano da tempo smesso di ascoltare i sondaggi. Spero che qualcuno lo faccia ora.
TED,

Pensavo che gli ultimi giorni si fossero leggermente normalizzati a causa della dichiarazione di Comey secondo cui le nuove e-mail non costituivano causa di rinnovate indagini penali.
Konrad Rudolph,

@KonradRudolph - Questa era la spiegazione che ho sentito dare per quell'inflessione in quel momento. Il problema è che la dichiarazione in questione non è emersa fino al 6 novembre e il punto di flesso del sondaggio sospetto si è verificato il giorno prima (vedere l'indicatore nella foto sopra). Inoltre, i tempi sono sbagliati per il fatto che la goccia sia stata interamente spiegata da Comey, quindi non c'è alcun motivo logico che la sua affermazione "nevermind" l'avrebbe fermata (e tanto meno l'ha capovolta).
TED

2
Il problema con 538 non è tanto il loro modello quanto la qualità dei dati di polling che sono stati inseriti. I dati chiariscono che questo non è stato un caso di errore di campionamento (che è piuttosto piccolo quando si eseguono sondaggi medi che hanno dimensioni del campione decenti). washparkprophet.blogspot.com/2016/11/what-polls-got-wrong.html Invece, il problema è o il campionamento parziale nella parte del leone dei sondaggi o la falsità sistemica da parte degli intervistati (a causa della disapprovazione sociale di Trump) o entrambi. Ma 538 ottiene i complimenti per aver riconosciuto nel loro modello che i sondaggi in diversi stati non sono indipendenti.
ohwilleke,

@ohwilleke - Giusto. Come ha detto una delle altre risposte, GIGO. È quello che immaginavo stesse probabilmente accadendo con quello strano punto di flesso inspiegabile. La domanda è la fonte della "spazzatura" nei sondaggi di input.
TED

17

Prima era la Brexit, ora le elezioni statunitensi

Non proprio il primo, ad esempio le elezioni presidenziali francesi del 2002 "hanno portato a discussioni serie sulle tecniche di votazione".

Quindi non è inverosimile dire che questi modelli non hanno fatto un ottimo lavoro.

Immondizia dentro, immondizia fuori.

Ho visto una spiegazione è che gli elettori non erano disposti a identificarsi come sostenitori di Trump. Come può un modello incorporare effetti del genere?

Vedi distorsione da risposta , in particolare distorsione da desiderabilità sociale . Altre letture interessanti: maggioranza silenziosa ed effetto Bradley .


2
Certo, immondizia nella spazzatura fuori. Ma come si riconosce che i predittori erano spazzatura e si fa "selezione variabile" per cavarsela?
Orazio

6
@horaceT come puoi vedere, questo è molto difficile e talvolta potrebbe essere impossibile. FiveThirtyEight.com aveva una metodologia molto decente e un modello di alta qualità, utilizzando dati diversi e correggendo errori multipli. Il giorno prima delle elezioni ha dato il 71,4% di probabilità che Hilary Clinton vincerà ...
Tim

1
@horaceT Mi concentrerei sulla raccolta dei dati, dal momento che sembra essere questo il problema. La pagina di bias di desiderabilità sociale contiene alcune idee per migliorarla.
Franck Dernoncourt,

1
@horaceT inoltre, se quasi tutti i pool dicessero che Clinton guida solo un pazzo direbbe che tutti hanno torto ... Sarebbe molto difficile giustificare tale modello.
Tim

1
Sarei curioso di sapere quanto accurate fossero le previsioni dei sondaggi per l'affluenza alle urne (ad esempio basate sulla demografia). Potrei immaginare che se molti sondaggi prevedono un "vantaggio significativo", l'affluenza potrebbe essere soppressa (ad esempio simile a un effetto osservatore )?
GeoMatt22,

12

Il sondaggio USC / LA Times ha alcuni numeri precisi. Hanno predetto che Trump sarà in testa. Vedi il sondaggio The USC / LA Times ha visto cosa mancavano altri sondaggi: un'ondata di supporto Trump

http://www.latimes.com/politics/la-na-pol-usc-latimes-poll-20161108-story.html

inserisci qui la descrizione dell'immagine

Avevano numeri precisi anche per il 2012.

Si consiglia di rivedere: http://graphics.latimes.com/usc-presidential-poll-dashboard/

E il NY Times si è lamentato della loro ponderazione: http://www.nytimes.com/2016/10/13/upshot/how-one-19-year-old-illinois-man-is-distorting-national-polling-averages. html

Risposta di Los Angeles Times: http://www.latimes.com/politics/la-na-pol-daybreak-poll-questions-20161013-snap-story.html


26
Questo sondaggio ha portato Trump a vincere il voto popolare del 3,2%, ma Clinton sembra aver vinto dello 0,1%. Quindi non vedo come si possa dire che avevano numeri precisi.
Winston Ewert,

3
Solo una leggera nota: ti aspetteresti davvero che una statistica sia inferiore al 3,2% di una finestra di errore?
AnoE,

9
I problemi con questo sondaggio come esempio sono 1) Il suo polling è sbagliato. Il voto popolare è correlato con la conquista della presidenza, ma non è così che ha deciso. 2) Ha sbagliato la linea superiore . Clinton ha vinto quello che sta misurando, non Trump. 3) Era fuori dagli stessi punti 3ish che la maggior parte degli altri sondaggi erano, solo in una direzione diversa.
TED,

5
... in realtà, sembra che Clinton potrebbe finire con un punto pieno davanti a Trump nel voto popolare, il che significa che questo sondaggio è stato disattivato di 4, non di 3. Quindi in teoria un sondaggio simile che ha avuto la sua vincita di 3 punti avrebbe stato due volte più preciso di questo (fuori da solo 2 punti anziché 4).
TED,

8
Il sondaggio del Los Angeles Times è stato corretto per caso : il diciannovenne sovrappesato ha controbilanciato il voto rurale bianco sottopeso.
Segna il

11

Nessun terreno elevato reclamato qui. Lavoro in un campo (monitoraggio e valutazione) pieno di pseudo-scienza come qualsiasi altra scienza sociale che potresti nominare.

Ma ecco l'accordo, l'industria del polling è presumibilmente in "crisi" oggi perché ha sbagliato le previsioni elettorali statunitensi, le scienze sociali in generale hanno una "crisi" di replicabilità e alla fine degli anni 2000 abbiamo avuto una "crisi" finanziaria mondiale perché alcuni professionisti credevano che i derivati ​​sui mutui subprime fossero una forma valida di dati finanziari (se diamo loro il beneficio del dubbio ...).

E tutti ci sbagliamo a prescindere. Ogni giorno vedo il più discutibile dei costrutti dei ricercatori usati come approcci per la raccolta dei dati, e quindi alla fine usati come dati (tutto, dalle scale quasi ordinali alle categorie di risposta fissa assolutamente leader). Pochissimi ricercatori sembrano persino rendersi conto che devono avere una struttura concettuale per tali costrutti prima di poter sperare di capire i loro risultati. È come se avessimo esaminato gli approcci di "ricerca" del mercato e avessimo deciso di adottare solo il peggio dei loro errori, con l'aggiunta di una piccola numerologia sul lato.

Vogliamo essere considerati "scienziati", ma il rigore è un po 'troppo difficile da disturbare, quindi raccogliamo dati sulla spazzatura e preghiamo il dio delle statistiche simile a Loki per scavalcare magicamente l'assioma di GIGO.

Ma come sottolinea il pesantemente citato Mr Feynman:

“Non importa quanto sia bella la tua teoria, non importa quanto tu sia intelligente. Se non è d'accordo con l'esperimento, è sbagliato ”.

Esistono modi migliori per gestire i dati qualitativi con cui siamo spesso bloccati, ma richiedono un po 'più di lavoro e quei bei costrutti di ricercatori sono spesso molto più facili da inserire in SPSS. La convenienza sembra vincere ogni volta la scienza (nessun gioco di parole voluto).

In breve, se non iniziamo a prendere sul serio la qualità dei dati grezzi, penso che stiamo solo sprecando il tempo e il denaro di tutti, incluso il nostro. Quindi qualcuno vuole collaborare a una "iniziativa sulla qualità dei dati" in relazione ai metodi delle scienze sociali (sì, nei libri di testo ci sono molte cose su queste cose, ma nessuno sembra prestare attenzione a quella fonte dopo gli esami).

Chiunque abbia il maggior numero di gravitas accademiche diventa il protagonista! (Non sarò io.)

Giusto per essere chiaro sulla mia risposta qui: vedo così spesso seri problemi fondamentali con tipi di dati grezzi "inventati", che vorrei suggerire la necessità di iniziare dall'inizio. Quindi, anche prima di preoccuparci del campionamento o dei test da eseguire sui dati, dobbiamo esaminare la validità / limitazioni dei tipi di dati che raccogliamo in relazione ai modelli che stiamo proponendo. Altrimenti il ​​modello predittivo complessivo è definito in modo incompleto.


2
Portato lontano, ne sono sicuro, puoi dare esempi dei costrutti discutibili dei ricercatori.
Orazio

4
Non sono necessariamente in disaccordo con molti dei tuoi punti. Ma voglio solo sottolineare che nel caso del polling, penso che ogni sondaggista sia estremamente consapevole dei limiti dovuti alla qualità dei dati, ma non ho davvero alcuna opzione per migliorarlo (vedi la mia risposta). La tua risposta sembra suggerire che i sondaggisti vogliono eliminare qualsiasi risposta, senza preoccuparsi affatto della qualità dei dati. Penso che il sondaggista tenga molto alla qualità dei dati, ma mi rendo anche conto che il meglio che possono ottenere ha gravi difetti potenziali. Ti arrendi ("50% -50%!") O cerchi di costruire qualcosa che potrebbe essere ragionevole?
Cliff AB,

la mia risposta ai commenti è stata necessariamente un po 'lunga, quindi l'ho aggiunta come nuova risposta
colin

9

I sondaggi tendono ad avere un margine di errore del 5% di cui non puoi davvero sbarazzarti, perché non è un errore casuale, ma un pregiudizio. Anche se in media attraverso molti sondaggi, non migliora molto. Ciò ha a che fare con gruppi elettorali travisati, mancanza di mobilitazione, incapacità di andare al voto in una giornata lavorativa, riluttanza a rispondere, riluttanza a rispondere nel modo giusto decisioni spontanee dell'ultimo minuto, ... perché questo pregiudizio tende a essere "correlato" attraverso i sondaggi, non puoi liberartene con più sondaggi; inoltre non puoi liberartene con campioni di dimensioni maggiori; e non sembra nemmeno essere in grado di prevedere questo pregiudizio, perché cambia troppo in fretta (e eleggiamo i presidenti troppo raramente).

A causa dello stupido principio del vincitore tuttora presente in quasi tutti gli stati, un errore del 5% può causare risultati molto diversi: supponiamo che i sondaggi prevedano sempre 49-51, ma il risultato reale è stato 51-49 (quindi un errore di solo il 2%), il risultato è del 100% di sconto; a causa del vincitore prende tutto.

Se osservi i singoli stati, la maggior parte dei risultati rientra nei margini di errore previsti!

Probabilmente il meglio che puoi fare è provare questo pregiudizio (+ -5%), applicare gli estremi del vincitore prende tutto, quindi aggregare i risultati. Questo è probabilmente simile a quello che ha fatto 538; e nel 30% dei campioni ha vinto Donald Trump ...


9
Lo chiamo il "principio della frangia lunatica" del sondaggio: in qualsiasi domanda di indagine, il 5% di tutti gli intervistati darà una risposta folle. Come ogni principio empirico ha delle eccezioni, ma ha resistito per decenni nel dare un senso ai risultati del sondaggio.
whuber

1
Se solo fosse solo una risposta "pazza". Il problema è che è sistematico, non "pazzo casuale". Potresti considerare le elezioni un sondaggio binario, e quali "risposte folli" potresti aspettarti in binario? Ma a quanto pare, molte persone deliberatamente (?) Danno una risposta sbagliata, o decidono in modo diverso quando effettivamente in cabina, o poi non vanno alle elezioni, ...
Anony-Mousse,

3
@ Anony-Mousse, non importa quanto possa essere accurata o meno, non riesco a vedere quanto il nominativo giovanile sia rilevante per l'analisi statistica.
Jared Smith l'

Oh, è una storia inestimabile. In alcuni giorni, devi ridere, piuttosto che preoccuparti perché i risultati della previsione non sono accurati.
Anony-Mousse,

I commenti non sono per una discussione estesa; questa conversazione è stata spostata in chat .
gung

7

400,000

Alla fine, ha esposto un colossale fallimento dell'analisi numerica per compensare la mancanza di conoscenza della materia. Le persone si vergognavano di se stesse per abbracciare esplicitamente il candidato vincitore per ovvie ragioni.

Il peggior modello di computer avrebbe potuto avvicinarsi al risultato se qualcuno si fosse preso la briga di condurre un sondaggio preliminare faccia a faccia, bussando alle porte. Ecco un esempio: il Gruppo Trafalgar (nessuna affiliazione o conoscenza diversa da quella che segue) aveva Trump in testa a PA, FL, MI, GA, UT e NV (quest'ultimo stato alla fine è diventato blu) un giorno prima delle elezioni. Qual è stata la magia?

una combinazione di intervistati che rispondono sia a un test di votazione standard che a un test di scrutinio che indaga [sic] la posizione dei vicini del rispondente. Ciò affronta il pregiudizio alla base del polling tradizionale, in cui gli intervistati non sono del tutto veritieri sulla loro posizione in merito a candidati altamente controversi.

Abbastanza a bassa tecnologia, inclusa la mancanza di controllo ortografico, che mostra molti numeri sulla natura umana. Ecco la discrepanza in PA :

inserisci qui la descrizione dell'immagine

Pennsylvania storica - lungi dall'essere percepita come l'ultima goccia nella sconfitta democratica poche ore prima di questa realizzazione conclusiva alle 1:40 del 9 novembre 2016:

inserisci qui la descrizione dell'immagine


2
Chiedere l'intenzione di voto dei vicini è geniale - mi sembra uno di quei trucchi intelligenti a volte usati in Statistica, che consentono di correggere (almeno in parte) per un pregiudizio apparentemente senza speranza. Grazie per averci scritto, molto interessante!
DeltaIV,

5

Uno dei motivi dell'inaccuratezza del sondaggio nelle elezioni americane, oltre ad alcune persone per qualunque motivo non dica la verità, è che l'effetto "il vincitore prende tutto" rende le previsioni ancora meno facili. Una differenza dell'1% in uno stato può portare a uno spostamento completo di uno stato e influenzare pesantemente l'intero risultato. Hillary aveva più elettori proprio come Al Gore vs Bush.

Il referendum sulla Brexit non è stato un'elezione normale e quindi anche più difficile da prevedere (nessun dato storico valido e tutti erano come un elettore per la prima volta in materia). Le persone che per decenni votano per lo stesso partito stabilizzano le previsioni.


2
Ottima osservazione. C'erano stati chiari per ogni parte e stati oscillanti. Mentre il loro numero era basso, l'effetto su un piccolo cambiamento è grande nel numero di voti. È un sistema di voto molto contorto, storicamente sviluppato negli Stati Uniti.
Trilarion

4

(Sto solo rispondendo a questo bit, poiché le altre risposte sembrano aver coperto tutto il resto.)

Fino alle 16:00 PST di ieri, i mercati delle scommesse favorivano ancora Hillary 4 a 1. Immagino che i mercati delle scommesse, con denaro reale sulla linea, dovrebbero fungere da insieme di tutti i modelli di previsione disponibili là fuori.

No ... ma indirettamente sì.

I mercati delle scommesse sono progettati in modo che gli allibratori realizzino un profitto qualunque cosa accada. Ad esempio, le attuali quote quotate erano 1-4 su Hilary e 3-1 su Trump. Se le prossime dieci persone puntano tutti $ 10 su Hilary, allora i $ 100 presi costeranno $ 25 se Hilary vince. Quindi accorciano Hilary a 1-5 e aumentano Trump a 4-1. Altre persone ora scommettono su Trump e l'equilibrio viene ripristinato. Cioè si basa esclusivamente sul modo in cui le persone scommettono, non sugli esperti o sui modelli di previsione.

Ma, naturalmente, i clienti degli allibratori guardano quei sondaggi e ascoltano quegli esperti. Sentono che Hilary è avanti del 3%, una dichiarazione morta da vincere, e decidono che un modo rapido per guadagnare $ 10 è puntare $ 40 su di lei.

Indirettamente esperti e sondaggi stanno spostando le probabilità.

(Alcune persone notano anche che tutti i loro amici al lavoro voteranno Trump, quindi fai una scommessa su di lui; altri notano che tutti i post dei loro amici di Facebook sono pro-Hilary, quindi fai una scommessa su di lei, quindi c'è un po 'di influenza sulla realtà loro, in quel modo.)


2

Non sorprende che questi sforzi siano falliti, se si considera la disparità tra le informazioni a cui i modelli hanno accesso e quali informazioni guidano il comportamento presso la cabina elettorale. Sto ipotizzando, ma i modelli probabilmente tengono conto di:

  • una varietà di risultati del sondaggio pre-elettorale
  • tendenze dello stato storico (blu / rosso)
  • risultati storici delle precedenti elezioni con tendenze / proiezioni attuali

Ma i sondaggi pre-elettorali sono inaffidabili (abbiamo visto continui fallimenti in passato), gli stati possono capovolgere e non ci sono stati abbastanza cicli elettorali nella nostra storia per spiegare la moltitudine di situazioni che possono e si presentano .

Un'altra complicazione è la confluenza del voto popolare con il collegio elettorale. Come abbiamo visto in queste elezioni, il voto popolare può essere estremamente vicino all'interno di uno stato, ma una volta che lo stato è vinto, tutti i voti vanno a un candidato, motivo per cui la mappa ha così tanto rosso.


1

I modelli di sondaggio non hanno preso in considerazione il numero di libertari che potrebbero passare da Johnson a Trump per quanto riguarda il voto effettivo. Gli stati che sono stati vinti da un margine sottile sono stati vinti in base a quale percentuale del voto ha ottenuto Johnson. L'AP (che ha spinto Trump oltre i 270 nella notte delle elezioni) ha dato solo il 2% a Johnson. NH (che è andato a Clinton) ha dato il 4% + a Johnson. Johnson stava sondando il 4% -5% il giorno prima delle elezioni e ha ottenuto circa il 3% il giorno delle elezioni.

Allora perché i libertari, all'improvviso, sono passati il ​​giorno delle elezioni? Nessuno ha considerato quale fosse il problema centrale per gli elettori libertari. Tendono a considerare l'interpretazione letterale della Costituzione come canone. La maggior parte delle persone che hanno votato per Clinton non pensavano che la sua discrepanza nei confronti della legge fosse una priorità abbastanza elevata da considerare. Certamente, non superiore a tutto ciò che non gli piaceva di Trump.

Indipendentemente dal fatto che i suoi problemi legali fossero importanti o meno per gli altri, sarebbero importanti per i libertari. Darebbero una priorità molto alta al fatto di non essere in carica per qualcuno che considerava la conformità legale come facoltativa, nella migliore delle ipotesi. Quindi, per un gran numero di loro, mantenere Clinton fuori dal suo incarico diventerebbe una priorità più alta che affermare che la filosofia libertaria è una filosofia politica praticabile.

A molti di loro potrebbe non piacere nemmeno Trump, ma se pensassero che sarebbe stato più rispettoso dello stato di diritto di Clinton, il pragmatismo avrebbe conquistato i principi per molti di loro e li avrebbe indotti a cambiare voto quando è arrivato il momento di votare davvero.


NH ha tutte le persone del progetto dello stato libero che vivono lì. Fiorente partito libertario e sostenitori attivi.
Giovanni

@John, NH Libertarians bloccato con Johnson (4%). Trump ha perso lo stato dell'1%.
Dmitry Rubanovich,

Lo capisco. Stavo cercando di spiegare che il partito libertario è forte in NH.
Giovanni

@Giovanni, ma non è solo NH. Minnesota: Johnson 4%, Trump perso del 2%; NV (un argomento più difficile da fare, ma la tendenza è ancora valida): Johnson 3,5%, Trump ha perso del 2%; Maine: Johnson 5%, Trump perso del 3%; Colorado Johnson 5%, Trump ha perso del 3%.
Dmitry Rubanovich,

Dopotutto, i sondaggi chiedono possibili cambi di voto e le previsioni ne tengono conto. Hai qualche informazione che suggerisce che prima delle elezioni c'erano informazioni che non sono state prese in considerazione da nessuna previsione o è una pura speculazione?
Tim

1

I sondaggi non sono tendenze storiche. Un bayesiano si informerebbe sulle tendenze storiche. Dopo Abraham Lincoln, c'è stato un partito repubblicano e un partito democratico che detengono l'ufficio presidenziale. La tendenza per la festa cambia 16 volte da allora da Wikipedia ha la seguente funzione cumulativa di massa

inserisci qui la descrizione dell'immagine

dove il tempo in anni per un cambio di partito presidenziale è sul X

Ciò che ha fatto pensare ai giornalisti, al partito democratico e ai sondaggisti che le probabilità fossero a favore della vittoria dei liberali è stato forse un pio desiderio. Il comportamento può essere prevedibile, entro certi limiti, ma in questo caso i democratici desideravano che le persone non votassero per un cambiamento, e da una prospettiva storica, sembra più probabile che ce ne sia uno che no.


0

Penso che i risultati del sondaggio siano stati estrapolati nella misura in cui il pubblico suppone che i dati demografici degli elettori saranno simili ai dati demografici dei partecipanti al sondaggio e rappresenterebbero una buona rappresentazione dell'intera popolazione. Ad esempio, se 7 minoranze su 10 hanno sostenuto Hillary nei sondaggi e se quella minoranza rappresenta il 30% della popolazione americana, la maggior parte dei sondaggi ha ipotizzato che il 30% degli elettori sarà rappresentato da quella minoranza e tradotto in quel guadagno del 21% per Hillary. In realtà, i maschi bianchi della classe medio-alta erano meglio rappresentati tra gli elettori. Meno del 50% delle persone idonee ha votato e questo non si è tradotto in uno sconto del 50% su tutti i sessi, razze, ecc.

Oppure, i sondaggi hanno assunto una randomizzazione perfetta e hanno basato i loro modelli su questo, ma in realtà i dati degli elettori erano distorti verso i maschi più anziani della classe medio-alta.

Oppure, i sondaggi non hanno esattamente ipotizzato una perfetta randomizzazione, ma i loro parametri di estrapolazione hanno sottovalutato l'eterogeneità dei dati demografici degli elettori.

ETA: i sondaggi delle due precedenti elezioni hanno avuto risultati migliori a causa della maggiore attenzione al voto da parte di gruppi che di solito non sono rappresentati bene.


Per quanto ne so, tutti i sondaggi basano le loro previsioni su "probabili elettori". Non riesco a immaginare sondaggi che presumono che un ventenne abbia la stessa possibilità di votare come un settantenne. Il problema sembra più centrale: quanto è probabile che qualcuno voti?
Dimpol,

La contabilità per i dati demografici è la parte più semplice. Basta semplicemente ripesare la popolazione campione alla popolazione effettiva. Tuttavia, tenere conto del risultato elettorale e dei pregiudizi menzionati nelle altre risposte è molto più difficile.
Graipher

Vi è una discreta varietà nel modo in cui i sondaggisti affrontano questi problemi. Alcuni riequilibrano o riequilibrano demograficamente in base all'appartenenza al partito, altri no. Tuttavia, poiché esiste una variazione dei modelli che utilizzano le medie di polling, il risultato finale dovrebbe essere robusto per i problemi specifici di un metodo di fare ciò che non è condiviso da altri sondaggi, in particolare dopo aver controllato i pregiudizi storici partigiani (ovvero gli effetti della casa) di particolari operazioni di polling. I problemi nei risultati medi del sondaggio devono provenire da metodi o effetti condivisi, non da metodi specifici per ciascun sondaggio.
ohwilleke,

0

HoraceT e CliffAB (scusate troppo a lungo per i commenti) Temo di avere una vita di esempi, che mi hanno anche insegnato che devo stare molto attento con la loro spiegazione, se desidero evitare di offendere le persone. Quindi, mentre non voglio la tua indulgenza, chiedo la tua pazienza. Ecco qui:

Per iniziare con un esempio estremo, una volta ho visto una domanda di indagine proposta che chiedeva agli agricoltori analfabeti dei villaggi (Sud-est asiatico) di stimare il loro "tasso di rendimento economico". Lasciando da parte le opzioni di risposta per ora, possiamo sperare tutti di vedere che questa è una cosa stupida da fare, ma spiegare costantemente perché è stupido non è così facile. Sì, possiamo semplicemente dire che è stupido perché l'intervistato non capirà la domanda e la respingerà come una questione semantica. Ma questo non è davvero abbastanza buono in un contesto di ricerca. Il fatto che questa domanda sia mai stata suggerita implica che i ricercatori hanno intrinseca variabilità su ciò che considerano "stupido". Per affrontare questo problema in modo più obiettivo, dobbiamo fare un passo indietro e dichiarare in modo trasparente un quadro pertinente per il processo decisionale su tali aspetti. Esistono molte opzioni di questo tipo,

Quindi, supponiamo in modo trasparente che abbiamo due tipi di informazioni di base che possiamo usare nelle analisi: qualitativa e quantitativa. E che i due sono collegati da un processo trasformativo, tale che tutte le informazioni quantitative sono iniziate come informazioni qualitative ma hanno attraversato i seguenti passaggi (semplificati):

  1. Impostazione della convenzione (ad esempio, tutti abbiamo deciso che [indipendentemente da come lo percepiamo individualmente], che chiameremo tutti il ​​colore di un cielo aperto diurno "blu".)
  2. Classificazione (ad es. Valutiamo tutto in una stanza in base a questa convenzione e separiamo tutti gli elementi in categorie "blu" o "non blu")
  3. Conta (contiamo / rileviamo la 'quantità' di cose blu nella stanza)

Si noti che (con questo modello) senza il passaggio 1, non esiste una qualità e se non si inizia con il passaggio 1, non è mai possibile generare una quantità significativa.

Una volta dichiarato, tutto questo sembra molto ovvio, ma sono tali insiemi di primi principi che (trovo) sono più comunemente trascurati e si traducono quindi in "Garbage-In".

Quindi la "stupidità" nell'esempio sopra diventa chiaramente definibile come un fallimento nel fissare una convenzione comune tra il ricercatore e gli intervistati. Naturalmente questo è un esempio estremo, ma errori molto più sottili possono essere ugualmente generatori di immondizia. Un altro esempio che ho visto è un sondaggio sugli agricoltori della Somalia rurale, che ha chiesto "In che modo i cambiamenti climatici hanno influenzato il tuo sostentamento?" Ancora una volta mettendo da parte le opzioni di risposta per il momento, suggerirei che anche chiedendo questo agli agricoltori nel Mid-West di gli Stati Uniti costituirebbero un grave fallimento nell'utilizzare una convenzione comune tra ricercatore e intervistato (vale a dire ciò che viene misurato come "cambiamento climatico").

Passiamo ora alle opzioni di risposta. Consentendo agli intervistati risposte di auto-codice da una serie di opzioni a scelta multipla o un costrutto simile, si sta spingendo anche questo problema della "convenzione" in questo aspetto dell'interrogatorio. Questo può andare bene se ci atteniamo tutti a convenzioni effettivamente "universali" nelle categorie di risposta (ad esempio domanda: in quale città vivi? Categorie di risposta: elenco di tutte le città nell'area di ricerca [più "non in quest'area"]). Tuttavia, molti ricercatori in realtà sembrano essere orgogliosi del sottile sfumamento delle loro domande e categorie di risposta per soddisfare le loro esigenze. Nello stesso sondaggio in cui è apparsa la domanda sul "tasso di rendimento economico", il ricercatore ha anche chiesto agli intervistati (abitanti dei villaggi poveri) di fornire a quale settore economico hanno contribuito: con le categorie di risposta di "produzione", "servizio", "produzione" e "commercializzazione". Anche in questo caso si pone ovviamente una questione di convenzione qualitativa. Tuttavia, poiché ha reso le risposte reciprocamente esclusive, in modo tale che gli intervistati possano scegliere solo un'opzione (perché "è più facile alimentare in SPSS in quel modo"), e gli agricoltori dei villaggi producono abitualmente colture, vendono il loro lavoro, fabbricano artigianato e portano tutto a mercati locali stessi, questo particolare ricercatore non aveva solo un problema di convenzione con i suoi intervistati, ma ne aveva uno con la realtà stessa.

Questo è il motivo per cui i vecchi noiosi come me consiglieranno sempre l'approccio più laborioso di applicare la codifica ai dati post-raccolta - poiché almeno puoi addestrare adeguatamente i programmatori nelle convenzioni tenute dai ricercatori (e nota che cercare di impartire tali convenzioni ai rispondenti in " istruzioni per il sondaggio "è un gioco da ragazzi - per ora fidati di me su questo." Si noti inoltre che se si accetta il "modello di informazione" di cui sopra (che, di nuovo, non sto sostenendo che è necessario), mostra anche perché le scale di risposta quasi ordinarie hanno una cattiva reputazione. Non sono solo le questioni matematiche di base ai sensi della convenzione di Steven (vale a dire che è necessario definire un'origine significativa anche per gli ordinali, non è possibile aggiungerli e fare una media, ecc. Ecc.), è anche che spesso non hanno mai vissuto processi trasformativi dichiarati in modo trasparente e logicamente coerenti che equivarrebbero a una "quantificazione" (ovvero una versione estesa del modello usato sopra che comprende anche la generazione di "quantità ordinali" [-questo non è difficile fare]). Ad ogni modo, se non soddisfa i requisiti di essere informazioni qualitative o quantitative, il ricercatore sostiene in realtà di aver scoperto un nuovo tipo di informazioni al di fuori del quadro e quindi spetta a loro spiegare completamente le sue basi concettuali fondamentali ( cioè definire in modo trasparente un nuovo framework).

Infine, esaminiamo i problemi di campionamento (e penso che questo sia in linea con alcune delle altre risposte già qui). Ad esempio, se un ricercatore vuole applicare una convenzione su ciò che costituisce un elettore "liberale", deve essere sicuro che le informazioni demografiche che usano per scegliere il proprio regime di campionamento siano coerenti con questa convenzione. Questo livello è di solito il più facile da identificare e gestire poiché è ampiamente sotto il controllo dei ricercatori ed è spesso il tipo di convenzione qualitativa presunta che viene dichiarata in modo trasparente nella ricerca. Questo è anche il motivo per cui è il livello generalmente discusso o criticato, mentre le questioni più fondamentali non vengono affrontate.

Quindi, mentre i sondaggisti rispondono a domande come "per chi prevedi di votare in questo momento?", Probabilmente stiamo ancora bene, ma molti di loro vogliono diventare molto più "fantasiosi" di questo ...

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.