Sistema di voto che utilizza l'accuratezza di ciascun elettore e l'incertezza associata

Diciamo, abbiamo una semplice domanda "sì / no" a cui vogliamo sapere la risposta. E ci sono N persone che "votano" per una risposta corretta. Ogni elettore ha una cronologia - elenco di 1 e 0, che mostra se nel passato avevano ragione o torto su questo tipo di domande. Se assumiamo la storia come una distribuzione binomiale, possiamo trovare il rendimento medio degli elettori su tali domande, la loro variazione, CI e qualsiasi altro tipo di parametri di confidenza.

Fondamentalmente, la mia domanda è: come incorporare le informazioni sulla fiducia nel sistema di voto ?

Ad esempio, se consideriamo solo il rendimento medio di ciascun elettore, possiamo costruire un sistema di voto ponderato semplice:

r e S u l t = S io g n (\underset{v \in v o t e r S}{Σ} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Cioè, possiamo semplicemente sommare i pesi degli elettori moltiplicati per (per "sì") o per (per "no"). Ha senso: se l'elettore 1 ha una media di risposte corrette pari a e l'elettore 2 ha solo , allora, probabilmente, il voto della prima persona dovrebbe essere considerato più importante. D'altra parte, se la prima persona ha risposto solo a 10 domande di questo tipo e la seconda persona ha risposto a 1000 di queste domande, siamo molto più sicuri del livello di abilità della seconda persona che di quelli della prima - è possibile che la prima persona sia stata fortunata e dopo 10 risposte relativamente riuscite continuerà con risultati molto peggiori. $+1$ $-1$ $.9$ $.8$

Quindi, una domanda più precisa può sembrare così: esiste una metrica statistica che incorpora sia la forza che la fiducia su alcuni parametri?

— ffriend
fonte

Dovresti considerare l'esperienza di un elettore come una variabile latente del tuo sistema. Potresti quindi essere in grado di risolvere il tuo problema con l' inferenza bayesiana . Una rappresentazione come modello grafico potrebbe essere così:

graphical_model

$A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (UN | V_{io}, H_{io}) = \int_{μ_{io}} Pr (UN, μ_{io} | {UN}_{io}, H_{io}) d μ_{io}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Questi sistemi sono difficili da risolvere. È possibile utilizzare l'algoritmo EM come approssimazione o utilizzare uno schema di massimizzazione della probabilità completo per eseguire l'inferenza bayesiana esatta.

Dai un'occhiata a questo documento Variaference Inference for Crowdsourcing , Liu, Peng e Ihler 2012 ( presentato ieri al NIPS! ) Per algoritmi dettagliati per risolvere questo compito.

— Emile
fonte

Grazie per la tua risposta, ma potresti per favore essere un po 'più specifico al riguardo? In particolare, cosa intendi per competenza? Se è solo una probabilità che la persona risponda correttamente, allora abbiamo già la sua stima come media delle risposte precedenti, quindi non è latente. Se intendi che l'esperienza comprende sia la media che la fiducia nella nostra stima, come possiamo propagare le probabilità per ottenere esperienza e risultati?

— amico

Sì, puoi rappresentare sia la media che la fiducia con questa variabile di "competenza" e l'inferenza bayesiana. Ho aggiunto alcune spiegazioni e un riferimento alla mia risposta. Spero possa aiutare !

— Emile,