Intelligence Squared Punteggio e determinazione del vincitore

Esiste un podcast NPR chiamato Intelligence Squared. Ogni episodio è una trasmissione di un dibattito dal vivo su alcune dichiarazioni controverse come "Il secondo emendamento non è più pertinente" o "L'azione affermativa nei campus universitari fa più male che bene". Quattro rappresentanti discutono: due per la mozione e due contro.

Per determinare quale parte vince, il pubblico viene interrogato sia prima che dopo il dibattito. La parte che ha guadagnato di più in termini di percentuale assoluta è considerata la vincitrice. Per esempio:

          For    Against  Undecided
 Before   18%      42%       40%
 After    23%      49%       28%

 Winner: Against team -- The motion is rejected.

Intuitivamente, penso che questa misura del successo sia parziale e mi chiedo come si sonderebbe il pubblico per determinare il vincitore in modo equo.

Tre problemi che vedo immediatamente con il metodo corrente:

Al limite, se una parte inizia con un accordo del 100%, può solo pareggiare o perdere.
Se non ci sono indecisi, allora la parte con meno accordo iniziale può essere vista come avente una dimensione del campione più grande da cui attingere.
È improbabile che il lato indeciso sia veramente indeciso. Se assumiamo che le due parti siano ugualmente polarizzate, sembra che la nostra precedente convinzione sulla popolazione indecisa dovrebbe essere se ognuno fosse costretto a schierarsi . $\text{Beta}(\text{# For}, \text{# Against})$

Dato che dobbiamo fare affidamento sul sondaggio del pubblico, esiste un modo più equo per giudicare chi vince?

bayesian rating

— Wesley Tansey
fonte

Penserei che qualcosa come il "Rapporto Pro-Contro -Dopo" diviso per il "Rapporto Pro-Contro -Prima" (essenzialmente un rapporto di probabilità) sarebbe una scelta migliore. Se è maggiore di 1 hai migliorato le probabilità, se è inferiore a 1, non lo hai fatto.

— Glen_b

Anche quello era il mio pensiero iniziale, anche se l'ho formulato come guadagno percentuale. Non sono sicuro di come dimostrare che si tratta di una stima imparziale.

— Wesley Tansey,

Una stima imparziale di cosa? Non sono sicuro che l'imparzialità sia una proprietà particolarmente desiderabile per questo.

— Glen_b

Di quanto bene ogni parte ha fatto. Idealmente non vorremmo distorcere il risultato in base alla risposta iniziale della folla. O forse sto pensando a questo completamente sbagliato ...

— Wesley Tansey,

Ah, penso che stiamo usando la distorsione in un modo leggermente diverso lì. Il fatto che il mio suggerimento sia distorto in tal senso dipende da cosa esattamente stai cercando di misurare. Secondo una misura popolare, si occupa perfettamente di quel problema.

— Glen_b

Risposte:

Le tue preoccupazioni sono fondate. Sfortunatamente, ci sono molti modi difendibili e oggettivi per risolvere questo problema e possono essere in conflitto tra loro. L'analisi che segue fornisce un quadro per decidere come si potrebbe desiderare di valutare il risultato e mostra come dipendente vostre conclusioni sono ipotesi che si fanno circa le dinamiche della situazione.

Abbiamo poco o nessun controllo sul pubblico iniziale. Potrebbe non rappresentare una popolazione più ampia (come tutti gli spettatori) a cui siamo più interessati. Pertanto, un numero assoluto di opinioni ha poca rilevanza: ciò che conta sono le velocità con cui le persone potrebbero cambiare idea. (Da queste percentuali potremmo stimare come la popolazione in ascolto potrebbe cambiare, dati le informazioni sulle loro opinioni iniziali, anche quando le proporzioni delle opinioni nel pubblico in ascolto differiscono dal pubblico in studio che è stato sottoposto a polling.)

Il risultato consiste quindi in sei possibili cambiamenti di opinione e sei tassi di cambiamento associati:

Quelli "per", che indicizzerò con possono cambiare idea e finire contro (con indice ) al tasso o indecisi (con indice ) al tasso . $1,$ $2$ $a_{12}$ $3$ $a_{13}$
Quelli "contro" possono cambiare idea in "per" al tasso o "indecisi" al tasso . $a_{21}$ $a_{23}$
Gli indecisi possono cambiare idea in "for" al tasso o "contro" al tasso $a_{31}$ $a_{32}.$

Definire , per per essere la percentuale di persone di indice non cambiano le loro menti. $a_{ii}$ $i=1,2,3,$ $i$

Le colonne della matrice contengono numeri non negativi che devono aggiungere unità (supponendo che anche tutti coloro che rispondono al sondaggio iniziale rispondano a quello finale). Ciò lascia sei valori indipendenti da determinare in base alla transizione dalla distribuzione iniziale nel pubblico, , alla distribuzione finale . Questo è un sistema indeterminato di equazioni lineari (vincolate), che lascia un'enorme flessibilità nel derivare una soluzione. Diamo un'occhiata a tre soluzioni. $\mathbb{A}=(a_{ij})$ $x=(0.18, 0.42, 0.40)$ $y=(0.23, 0.49, 0.28) = \mathbb{A}x$

Soluzione 1: il minimo cambiamento

Potremmo chiedere alla matrice di transizione di essere il più piccola possibile in un certo senso. Un modo è ridurre al minimo le proporzioni totali delle persone che cambiano le loro opinioni. Ciò si ottiene nell'esempio con la soluzione $\mathbb{A}$

A = (\begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \end{array}) .

$\mathbb{A}=\left( \begin{array}{ccc} 1 & 0 & 0.125 \\ 0 & 1 & 0.175 \\ 0 & 0 & 0.700 \\ \end{array} \right).$

Cioè, il degli indecisi è finito per, il di loro è finito contro, e nessuno dei fors o dei againsts originali ha cambiato idea. Chi ha vinto? Il resto, ovviamente, perché il dibattito ha convinto una parte maggiore degli indecisi ad accontentarsi dell'opinione "contro". $12.5\%$ $17.5\%$

Questo modello sarebbe appropriato se ritieni che le fazioni iniziali siano indurite alle loro opinioni e le uniche persone che potrebbero cambiare idea sono tra quelle inizialmente dichiarate indecise.

Soluzione 2: minimi quadrati

Una soluzione matematicamente semplice è trovare la matrice cui norma quadrata è il più piccolo possibile: questo minimizza la somma dei quadrati di tutte e nove le probabilità di transizione (che includono rappresenta le proporzioni che non cambiano idea). La sua soluzione (arrotondata al secondo decimale) è $\mathbb{A}$ $L^2$ $||\mathbb{A}||_2^2 = tr(\mathbb{A}^\prime \mathbb{A})$ $a_{ii}$

A = (\begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.28 & 0.22 & 0.22 \\ 0.41 & 0.51 & 0.50 \\ 0.31 & 0.27 & 0.28 \\ \end{array} \right).$

Confrontando le righe, vediamo che sebbene il della parte "contro" sia stato convinto a convertirsi in "per" (e un altro era sufficientemente confuso per diventare indeciso), il della parte "per" era completamente convertito (e un altro era confuso). Gli indecisi originali tendevano a convertirsi al lato "contro" ( contro ). Ora "contro" è il chiaro vincitore. $22\%$ $27\%$ $41\%$ $31\%$ $50\%$ $22\%$

La soluzione dei minimi quadrati in genere comporta molti cambiamenti in ciascun gruppo. (Fatti salvi i vincoli del problema, sta cercando di rendere i cambiamenti tutti uguali a .) È difficile determinare se corrisponda a una rappresentazione realistica della popolazione, ma mostra un quadro matematicamente possibile di ciò che è accaduto durante il dibattito. $1/3$

Soluzione 3: minimi quadrati penalizzati

Per controllare e limitare la velocità con cui le persone cambiano le loro opinioni, penalizziamo l'obiettivo dei minimi quadrati includendo termini che non favoriscono alcun cambio di opinione. Questi sono i termini sulla diagonale di . Potremmo supporre che sia più difficile cambiare l'opinione di qualcuno che non è indeciso, quindi sarebbe bene sottovalutare quest'ultimo. A tal fine, introdurre pesi positivi e trovare per i quali è ridotto al minimo. $\mathbb{A}$ $\omega_i$ $\mathbb{A}$

| | A | |_{2}^{2} - ω_{1} a_{11} - ω_{2} a_{22} - ω_{3} a_{33}

$||\mathbb{A}||_2^2 - \omega_1 a_{11} - \omega_2 a_{22} - \omega_3 a_{33}$

Ad esempio, ridimensioniamo gli indecisi del 50% selezionando pesi . La soluzione (arrotondata) è $\omega = (1,1,1/2)$

A = (\begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.91 & 0 & 0.17 \\ 0.03 & 0.93 & 0.23 \\ 0.06 & 0.07 & 0.60 \\ \end{array} \right).$

Questa soluzione è intermedia tra i primi due: una piccola parte delle parti impegnate ha cambiato idea o è diventata indecisa mentre il degli indecisi ha preso una decisione ( a favore e contro). Ancora una volta, tuttavia, i risultati favoriscono chiaramente la fazione "contro". $40\%$ $17\%$ $23\%$

Sommario

In questo modello di transizione di cambio di opinione, la maggior parte dei metodi di soluzione indica una vittoria per la parte "contro" in questo esempio particolare. Assente qualsiasi opinione forte sulla dinamica del cambiamento, che suggerisce la vittoria della squadra "contro".

In altre circostanze, alcuni metodi di soluzione potrebbero indicare un vincitore e altri metodi di soluzione un altro vincitore. Ad esempio, nella transizione da a sembra ingenuo che i "fors" abbiano avuto una vittoria spettacolare: il loro numero è aumentato dal a mentre la fazione "contro" è diminuita dal al . Tuttavia, la soluzione (arrotondata) dei minimi quadrati suggerisce almeno che potrebbe esserci un modo in cui il dibattito ha favorito leggermente l'altra parte! È $(.20,.60,.20)$ $(.30,.40,.30)$ $20\%$ $30\%$ $40\%$ $30\%$

A = (\begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \end{array}) .

$\mathbb{A} = \left( \begin{array}{ccc} 0.32 & 0.29 & 0.32 \\ 0.36 & 0.42 & 0.36 \\ 0.32 & 0.29 & 0.32 \\ \end{array} \right).$

Qui, il dei "fors" è cambiato dall'altra parte, mentre solo il dei "contro" è cambiato con l'opinione opposta. Inoltre, un po 'più di indecisi contro ) è risultato "contro" piuttosto che a favore. Sebbene il loro numero in questo pubblico sia diminuito, abbiamo una situazione (che ricorda il Paradosso di Simpson ) in cui la fazione "contro" ha chiaramente vinto il dibattito! $36\%$ $29\%$ $(36\%)$ $32\%$

Commenti aggiuntivi

Se i sondaggi di opinione potessero tracciare le persone sia prima che dopo, potremmo stimare l'intera matrice di transizione e ci sarebbe molta meno incertezza sugli effetti del dibattito sull'opinione pubblica. $\mathbb{A}$

I tre metodi di soluzione illustrati qui non sono i soli possibili: altri potrebbero essere trovati ponderando i coefficienti di singolarmente, per esempio. Coprono una vasta gamma di possibilità, che vanno dalla parsimoniosa soluzione "minimo cambiamento" alla soluzione aggressiva dei minimi quadrati. Pertanto, esplorare la gamma di soluzioni ottenute con questi tre metodi dovrebbe dare una buona indicazione di ciò che potrebbe ragionevolmente essere raggiunto. Se tutti concordano sul risultato, dovrebbero esserci pochi dubbi. $\mathbb{A}$

— whuber
fonte

Grazie per il post dettagliato! Sono preoccupato però che tutti questi metodi non considerino la possibilità che gli indecisi non siano veramente indecisi.

— Wesley Tansey,

Hanno la flessibilità di integrare la tua preoccupazione riguardo a tale possibilità. Sei ancora bloccato con la necessità di fare (forti) ipotesi: se pensi che non siano veramente decise, dovrai stimare quale proporzione è "per" e quale proporzione "contro" (e sarebbe folle assumere le proporzioni sono le stesse del numero per: numero contro!) Un modo per eludere tale stima - se non altro per vedere come potrebbe essere il risultato - è scegliere una soluzione che premia un cambiamento di opinione da parte di una persona indecisa.

— whuber

Supponendo che entrambe le parti siano ugualmente polarizzanti, la tua stima MAP delle persone indecise non sarebbe il rapporto pro: contro?

— Wesley Tansey,

Nella maggior parte dei casi sarebbe difficile sostenere tale presupposto. Ad esempio, le persone meno informate potrebbero avere una maggiore tendenza a essere indecise - e potrebbero anche avere una maggiore tendenza a favorire una delle due posizioni. L'effetto di un'ipotesi "ugualmente polarizzante" potrebbe essere così forte (specialmente quando vi è una grande percentuale di indecisi) da rendere la successiva analisi a margine: i risultati sarebbero principalmente una conseguenza di tale ipotesi. Una linea di pensiero produttiva per te potrebbe essere quella di prendere in considerazione la raccolta di informazioni aggiuntive sulle persone indecise.

— whuber

Il problema del bias qui sembra essere che una parte possa essere favorita per vincere anche se non ha una migliore capacità di dibattito, piuttosto che il concetto statistico di bias di uno stimatore. Un approccio naturale sarebbe quello di affrontare direttamente questa preoccupazione: usare i dati dei precedenti concorsi per adattarsi a un modello di regressione e imposta la regola vincente in funzione del sondaggio prima del dibattito in modo che la probabilità predittiva di vincita sia

p ({for}_{after}, {against}_{after}, {undecided}_{after} ∣ {for}_{before}, {against}_{before}, {undecided}_{before})

$\begin{equation} p(\textrm{for}_\textrm{after},\textrm{against}_{\textrm{after}},\textrm{undecided}_{\textrm{after}} \mid \textrm{for}_\textrm{before},\textrm{against}_{\textrm{before}},\textrm{undecided}_{\textrm{before}}) \end{equation}$

0.5

$0.5$ per entrambe le squadre. Si noti che esistono ancora più scelte per la regola di decisione poiché lo spazio dei risultati è bidimensionale ma, se ci fidiamo del modello predittivo, questo non ha importanza in termini di equità del concorso. Si potrebbe, ad esempio, decidere che vince il for-team se il rapporto For-Against dopo il dibattito supera la sua mediana predittiva (in base al pre-sondaggio).

Idee per la costruzione di un modello predittivo

Inizialmente avevo in mente solo un modello "a scatola nera" dei numeri dopo il sondaggio in funzione dei numeri e del rumore prima del sondaggio. Tuttavia, un approccio migliore potrebbe essere quello di prendere in prestito l'idea di Whuber di considerare le probabilità di transizione. L'approccio più semplice (sebbene forse non realistico) sarebbe quello di considerare le probabilità di transizione indipendenti dai numeri del sondaggio prima del dibattito. Ad esempio, supponiamo che le probabilità di transizione siano tratte dalle distribuzioni di Dirichlet:

\begin{aligned} (P (for ∣ for before), P (ud ∣ for before), P (ag ∣ for before)) & \sim D i r (a_{f f}, a_{u f}, a_{a f}) \\ (P (for ∣ ud before), P (ud ∣ ud before), P (ag ∣ ud before)) & \sim D i r (a_{f u}, a_{u u}, a_{a u}) \\ (P (for ∣ ag before), P (ud ∣ ag before), P (ag ∣ ag before)) & \sim D i r (a_{f a}, a_{u a}, a_{a a}), \end{aligned}

$\begin{align} (P(\textrm{for} \mid \textrm{for before}),P(\textrm{ud} \mid \textrm{for before}),P(\textrm{ag} \mid \textrm{for before})) & \sim Dir(a_{ff},a_{uf},a_{af}) \\ (P(\textrm{for} \mid \textrm{ud before}),P(\textrm{ud} \mid \textrm{ud before}),P(\textrm{ag} \mid \textrm{ud before})) & \sim Dir(a_{fu},a_{uu},a_{au}) \\ (P(\textrm{for} \mid \textrm{ag before}),P(\textrm{ud} \mid \textrm{ag before}),P(\textrm{ag} \mid \textrm{ag before})) & \sim Dir(a_{fa},a_{ua},a_{aa}), \end{align}$ dove le sono probabilità di transizione per gli individui e le sono iperparametri che controllano come le probabilità di transizione variano da un dibattito all'altro. l'

P

$P$

a

$a$

a

$a$ gli s vengono appresi dai dati degli spettacoli precedenti, sia ottimizzando le stime dei punti (ad es. massima probabilità a posteriori o massima probabilità), sia una soluzione bayesiana completa che genera una distribuzione posteriore degli . Si potrebbero anche aggiungere alcuni vincoli di simmetria se si vuole assumere per e contro comportarsi in modo simile (prima di conoscere la particolare domanda del dibattito) ad esempio, , .

a

$a$

a_{f f} = a_{a a}

$a_{ff}=a_{aa}$

a_{f u} = a_{a u}

$a_{fu}=a_{au}$

Date le distribuzioni posteriori o le stime puntuali di s e la distribuzione degli individui nel corrente prima del sondaggio (che ora supponevo fosse indipendente dalle probabilità di transizione), è semplice simulare la distribuzione dei numeri di sondaggio post-dibattito e quindi scegli la mediana di, ad esempio, per / contro-rapporto come soglia vincente. $a$

— Juho Kokkala
fonte

Potresti espandere l'idea di un modello predittivo con un esempio?

— Wesley Tansey,

@WesleyTansey Mi sono reso conto che si poteva usare l'idea di Whuber di considerare le probabilità di transizione per costruire un modello predittivo ai fini della mia risposta. Ho modificato la mia risposta in modo da contenere alcune idee iniziali, ma non ho ancora provato a implementarlo e non ho intenzione di farlo.

— Juho Kokkala,