Probabilità di un singolo evento futuro nella vita reale: cosa significa quando dicono che "Hillary ha il 75% di possibilità di vincere"?

Poiché le elezioni sono un evento unico, non è un esperimento che può essere ripetuto. Quindi, cosa significa tecnicamente esattamente l'affermazione "Hillary ha il 75% di possibilità di vincere" ? Sto cercando una definizione statisticamente corretta non intuitiva o concettuale.

Sono un fan delle statistiche amatoriali che sta cercando di rispondere a questa domanda che è emersa in una discussione. Sono abbastanza sicuro che ci sia una buona risposta obiettiva ad esso, ma non riesco a trovarlo da solo ...

Tutte le risposte finora fornite sono utili, ma non sono statisticamente precise, quindi ci proverò. Allo stesso tempo, darò una risposta generale piuttosto che concentrarmi su queste elezioni.

La prima cosa da tenere a mente quando stiamo cercando di rispondere a domande su eventi del mondo reale come Clinton che vince le elezioni, al contrario di problemi matematici inventati come togliere palle di vari colori da un'urna, è che non c'è t un modo ragionevole unico per rispondere alla domanda, e quindi non una risposta ragionevole unica. Se qualcuno dice semplicemente "Hillary ha una probabilità del 75% di vincere" e non continua a descrivere il proprio modello elettorale, i dati utilizzati per fare le proprie stime, i risultati della convalida del modello, i presupposti di base, indipendentemente dal fatto che ti riferisci al voto popolare o al voto elettorale, ecc., quindi non ti hanno davvero detto cosa significano, e tanto meno ti hanno fornito informazioni sufficienti per valutare se la loro previsione è valida. Inoltre, non è

Quindi, quali sono alcune procedure che uno statistico potrebbe usare per stimare le possibilità di Clinton? In effetti, come potrebbero inquadrare il problema? Ad alto livello, ci sono varie nozioni di probabilità stesse, due delle quali più importanti sono frequentista e bayesiana.

• In una visione frequentista , una probabilità rappresenta la frequenza limite di un evento rispetto a molte prove indipendenti dello stesso esperimento, come nella legge di grandi numeri (forte o debole). Anche se ogni particolare elezione è un evento unico, il suo risultato può essere visto come un sorteggio da una popolazione infinita di eventi sia storici che ipotetici, che potrebbero comprendere tutte le elezioni presidenziali americane, o tutte le elezioni mondiali nel 2016, o qualcos'altro. Una probabilità del 75% di una vittoria di Clinton significa che se è una sequenza di risultati (0 o 1) di elezioni indipendenti che sono del tutto equivalenti a queste elezioni per quanto riguarda il nostro modello, allora la media campionaria di converge in probabilità a .75 comeX 1 , X 2 , … , X n$X_1, X_2, …$$X_1, X_2, …, X_n$$n$ va all'infinito.

• In una visione bayesiana , una probabilità rappresenta un grado di credibilità o credibilità (che può essere o meno una convinzione effettiva, a seconda che tu sia un bayesiano soggettivista). Una probabilità del 75% di una vittoria di Clinton significa che è credibile al 75% che vincerà. Le credenziali, a loro volta, possono essere scelte liberamente (sulla base delle credenze preesistenti di un modello o di un analista) entro i vincoli delle leggi di base della probabilità (come il teorema di Bayes , e il fatto che la probabilità di un evento congiunto non possa superare la probabilità marginale di nessuno dei due gli eventi del componente). Un modo per riassumere queste leggi è che se si prendono scommesse sull'esito di un evento, offrendo quote ai giocatori secondo le proprie credibilità, allora nessun giocatore può costruire un libro olandesecontro di te, cioè una serie di scommesse che ti garantiscono di perdere denaro, indipendentemente da come si svolge effettivamente l'evento.

Che si tratti di una visione frequentista o bayesiana sulla probabilità, ci sono ancora molte decisioni da prendere su come analizzare i dati e stimare la probabilità. Forse il metodo più popolare si basa su modelli di regressione parametrica, come la regressione lineare. In questa impostazione, l'analista sceglie una famiglia parametrica di distribuzioni (ovvero misure di probabilità ) che è indicizzata da un vettore di numeri chiamati parametri. Ogni risultato è una variabile casuale indipendente ricavata da questa distribuzione, trasformata secondo le covariate, che sono valori noti (come il tasso di disoccupazione) che l'analista vuole utilizzare per prevedere il risultato. L'analista sceglie le stime dei valori dei parametri utilizzando i dati e un criterio di adattamento del modello come i minimi quadratio massima probabilità . Utilizzando queste stime, il modello può produrre una previsione del risultato (possibilmente solo un singolo valore, eventualmente un intervallo o un altro insieme di valori) per ogni dato valore delle covariate. In particolare, può prevedere l'esito di un'elezione. Oltre ai modelli parametrici, esistono modelli non parametrici (ovvero modelli definiti da una famiglia di distribuzioni indicizzata con un vettore di parametri infinitamente lungo) e anche metodi per decidere valori previsti che non utilizzano alcun modello con il quale i dati sono stati generati , ad esempio classificatori più vicini e foreste casuali .

Elaborare previsioni è una cosa, ma come fai a sapere se sono utili? Dopotutto, previsioni sufficientemente inaccurate sono peggio che inutili. Il test delle previsioni fa parte della più ampia pratica di convalida del modello, vale a dire quantificare la validità di un determinato modello per un determinato scopo. Due metodi popolari per la convalida delle previsioni sono la convalida incrociata e la suddivisione dei dati in sottoinsiemi di addestramento e test prima di adattare qualsiasi modello. Nella misura in cui le elezioni incluse nei dati sono rappresentative delle elezioni presidenziali statunitensi del 2016, le stime dell'accuratezza predittiva che otteniamo dalla convalida delle previsioni ci informeranno di quanto la nostra previsione sarà accurata delle elezioni presidenziali statunitensi del 2016.

Quando gli statistici vogliono prevedere un risultato binario (Hillary vince contro Hillary non vince), immaginano che l'universo stia lanciando una moneta immaginaria: Heads, Hillary vince; code, lei perde. Per alcuni statistici, la moneta rappresenta il loro grado di fiducia nel risultato; per altri, la moneta rappresenta ciò che potrebbe accadere se ripetessimo nuovamente le elezioni nelle stesse circostanze. Filosoficamente parlando, è difficile sapere cosa intendiamo quando parliamo di eventi futuri incerti, anche prima di trascinarci dentro dei numeri. Ma possiamo vedere da dove proviene il numero.

A questo punto delle elezioni, abbiamo una sequenza di risultati del sondaggio. Questi sono nella forma: 1000 persone sono state interrogate, diciamo, in Ohio. 40% di supporto Trump, 39% di supporto Hillary, 21% sono indecisi. Ci sarebbero sondaggi simili dalle precedenti elezioni per i rispettivi candidati democratici, repubblicani (e di altri partiti). Per gli anni precedenti, ci sono anche risultati. Potresti sapere che, ad esempio, i candidati con il 40% dei voti in un sondaggio di luglio hanno vinto 8 delle 10 precedenti elezioni. O i risultati potrebbero dire, in 7 elezioni su 10, i democratici hanno preso l'Ohio. Potresti sapere come l'Ohio si confronta con il Texas (forse non scelgono mai lo stesso candidato) - potresti avere informazioni su come si rompe il voto indeciso - e potresti avere modelli interessanti di ciò che accade quando un candidato inizia a "impennare".

Quindi, quando prendi in considerazione le elezioni precedenti, puoi dire che la moneta elettorale è già stata lanciata diverse volte. Le stesse elezioni non vengono ripetute ogni 4 anni, ma possiamo far finta che lo sia. Da tutte queste informazioni, i sondaggisti costruiscono modelli complessi per prevedere il risultato di quest'anno.

La probabilità del 75% di Hillary di vincere è relativa al nostro stato di conoscenza "oggi". Sta dicendo che un candidato con il tipo di risultati del sondaggio che ha "ora", negli stati in cui li ha, e date le tendenze nei suoi sondaggi durante la campagna, vince le elezioni in 3 anni elettorali su 4. Un mese da ora, la sua probabilità di vincere sarà cambiata, perché il modello si baserà sullo stato dei sondaggi di agosto.

Gli Stati Uniti non hanno avuto un numero statisticamente elevato di elezioni nella sua storia, molto meno da quando sono iniziate le elezioni. Né possiamo essere sicuri che le tendenze del polling, diciamo, degli anni '70, si applichino ancora. Quindi è tutto un po 'complicato.

La linea di fondo è che Hillary dovrebbe iniziare a lavorare al suo discorso di inaugurazione.

Quando gli statistici dicono questo, non si riferiscono al margine di vittoria o alla percentuale di voti. Stanno eseguendo un gran numero di simulazioni delle elezioni e contando quale percentuale di voto ottiene ogni candidato. Per molti solidi modelli presidenziali hanno previsioni per ogni stato. Alcuni sono vicini e se la gara si svolge più volte, entrambi i candidati potrebbero vincere. Poiché gli intervalli di previsione si sovrappongono più volte a un margine di vittoria pari a 0, non si tratta di una risposta binaria ma invece di una simulazione ci dirà più precisamente cosa aspettarsi.

La pagina della metodologia di FiveThirtyEight può aiutare a capire un po 'di più cosa c'è sotto il cofano: http://fivethirtyeight.com/features/a-users-guide-to-fivethirtyeights-2016-general-election-forecast/

Esiste un episodio di radio bizzarra che è molto rilevante per questa domanda (in generale, non nei dettagli delle elezioni). In esso, Stephen Dubner intervista la guida di un progetto di un'agenzia di difesa degli Stati Uniti per determinare il modo migliore per prevedere eventi politici globali.

Aiuta [anche] molto a sapere di più sulla politica di quanto la maggior parte della gente faccia. Direi che sono condizioni quasi necessarie per fare bene. Ma non sono sufficienti, perché ci sono molte persone che sono molto intelligenti e affettuose. Ci sono molte persone che sono molto intelligenti e pensano che sia impossibile associare probabilità a eventi unici .

Quindi discutono di cosa non fare

se poni questo tipo di domande, la maggior parte delle persone dice: "Come potresti eventualmente assegnare le probabilità a quelli che sembrano eventi storici unici?" Non sembra esserci alcun modo per farlo. Il meglio che possiamo veramente fare è usare vaghe verbosità, fare previsioni vaghe. Possiamo dire cose del tipo: “Beh, potrebbe succedere. Questo potrebbe succedere. Questo può succedere. ”E dire che qualcosa potrebbe succedere non vuol dire molto.

Quindi l'episodio analizza le metodologie utilizzate dai meteorologi di maggior successo per stimare queste probabilità, sostenendo un approccio bayesiano informale

Quindi, non sapendo nulla del dittatore africano o del paese, diciamo che non ho mai sentito parlare di questo dittatore, non ho mai sentito parlare di questo paese e guardo solo la tariffa base e dico: "hmm, sembra circa l'87 percento. ”Quella sarebbe la mia stima iniziale del sospetto. Quindi la domanda è: "Cosa devo fare?" Bene, allora inizio a imparare qualcosa sul paese e sul dittatore. E se apprendo che il dittatore in questione ha 91 anni e ha un carcinoma prostatico avanzato, dovrei adeguare le mie probabilità . E se apprendo che ci sono rivolte nella capitale e ci sono accenni di colpi di stato militari in vista, dovrei aggiustare di nuovo la mia probabilità . Ma iniziare con la probabilità del tasso base è un buon modo per assicurarsi almeno di essere inizialmente nell'area di plausibilità.

L'episodio si chiama How to Be Less Terrible at Predicting the Future ed è un ascolto molto divertente. Ti incoraggio a dare un'occhiata se sei interessato a questo genere di cose!

Le elezioni del 2016 sono davvero un evento unico. Ma così è il lancio di una moneta o il lancio di un dado.

Quando qualcuno afferma di sapere che un candidato ha una probabilità del 75% di vincere, non sta predicendo il risultato. Stanno sostenendo di conoscere la forma del dado.

Il risultato delle elezioni non può invalidare questo. Ma se il modello che usano per arrivare al 75% viene testato contro molte elezioni, si potrebbe dimostrare che ha un valore predittivo limitato. Oppure può nascere prezioso.

Naturalmente, una volta che un candidato predittore è noto ai candidati, possono cambiare il loro comportamento e il modello può essere reso irrilevante. Oppure può essere spazzato tutto sproporzionato. Guarda cosa succede in Iowa.

Quando qualcuno dice che "Hillary ha una probabilità del 75% di vincere", significa che se gli offri una scommessa in cui una persona ottiene 25 dollari se Hillary vince e l'altra persona ottiene 75 dollari se Hillary non vince, considerano che una scommessa equa e non hanno motivi particolari per preferire entrambe le parti.

Queste percentuali provengono in genere dai mercati di previsione. Questi riassumono tutte le informazioni disponibili e in genere superano i metodi analitici di previsione della maggior parte degli eventi.

I mercati di previsione offrono alle persone l'opportunità di scommettere sull'eventualità di un determinato evento. I profitti sono stabiliti dalla negoziazione tra le persone su entrambi i lati della proposta. In generale, le persone che hanno una conoscenza speciale di una proposta cercheranno di sfruttare quella conoscenza per fare soldi, il che ha l'effetto collaterale di perdere tali informazioni.

Ad esempio, supponiamo che ci sia un mercato di previsione sul fatto che una determinata celebrità vivrà fino alla fine di quest'anno. Il pubblico conosce l'età della celebrità e chiunque può cercare la probabilità di base che la celebrità morirà entro la fine dell'anno. Se questo fosse tutto ciò che si sapeva, ci si aspetterebbe che le persone siano disposte a scommettere da una parte o dall'altra di questa proposta a circa quella probabilità.

Ora, supponiamo che qualcuno sapesse che le celebrità erano in cattive condizioni di salute ma lo stavano nascondendo. O addirittura dire che molte persone sapevano che la famiglia di quella celebrità aveva una storia di malattie cardiache che avrebbe ridotto le probabilità di sopravvivere. Le persone con tali informazioni saranno disposte a schierarsi dalla parte di quella proposta, facendo sì che il tasso si adegui proprio mentre gli acquirenti aumentano il prezzo delle azioni e i venditori lo abbassano.

In altre parole, quando le probabilità sono troppo basse, le persone in cerca di profitto le spingono verso l'alto. E quando sono troppo alti, le persone in cerca di profitto li spingono verso il basso. Il prezzo della scommessa alla fine riflette la saggezza collettiva di tutti sulle probabilità della proposizione che si verificano proprio come tutti i prezzi riflettono la saggezza collettiva sui costi e sui valori delle cose.

La domanda chiave è come assegnare una probabilità a un evento unico. La risposta è che si sviluppa un modello in base al quale non è più unico. Penso che un esempio più semplice sia la probabilità che il presidente muoia in carica? Puoi vedere il presidente come una persona di una certa età, come una persona di una certa età e sesso. Ecc ... ogni modello ti dà una previsione diversa ... a priori non esiste un modello corretto ... spetta allo statistico selezionare quale modello è più appropriato.

Dato che i sondaggi mostrano una corsa molto stretta, il 75% potrebbe o meno essere accurato.

Stai chiedendo cosa significa, non come hanno calcolato questo. L'implicazione è che (se ignoriamo qualcun altro tranne Clinton e il suo unico grande avversario) che avresti bisogno di puntare $ 3 per ottenere un ritorno di $ 4 se vince. In alternativa, una puntata di $ 1 sull'altro corridore restituirà $ 4 se vince.

La mia risposta fa una piccola distinzione, tra l'effettiva possibilità per entrambi i candidati di vincere e ciò che le persone (giocatori d'azzardo o quote) si aspettano. Sospetto che quando vedi numeri come questo, ad esempio il 75%, vedi i numeri dei produttori di quote, quando vedi dal 49 al 48%, vedi i risultati del sondaggio.

Se lo stanno facendo nel modo giusto, succede qualcosa di circa i tre quarti di quelle volte in cui affermano che il 75% ha una probabilità di accadere. (o più in generale, la stessa idea si è adattata su tutte le previsioni percentuali)

È possibile attribuire più significato di quello a seconda delle nostre opinioni filosofiche e di quanto crediamo ai modelli, ma questo punto di vista pragmatico è qualcosa di un minimo comune denominatore - per lo meno, i metodi statistici ci provano (anche se forse come un lato piuttosto che direttamente) per fare previsioni obbedendo a questo punto di vista pragmatico.