Sistema di voto che utilizza l'accuratezza di ciascun elettore e l'incertezza associata


11

Diciamo, abbiamo una semplice domanda "sì / no" a cui vogliamo sapere la risposta. E ci sono N persone che "votano" per una risposta corretta. Ogni elettore ha una cronologia - elenco di 1 e 0, che mostra se nel passato avevano ragione o torto su questo tipo di domande. Se assumiamo la storia come una distribuzione binomiale, possiamo trovare il rendimento medio degli elettori su tali domande, la loro variazione, CI e qualsiasi altro tipo di parametri di confidenza.

Fondamentalmente, la mia domanda è: come incorporare le informazioni sulla fiducia nel sistema di voto ?

Ad esempio, se consideriamo solo il rendimento medio di ciascun elettore, possiamo costruire un sistema di voto ponderato semplice:

reSult=Siogn(ΣvvoterSμv×(-1)1-vote)

Cioè, possiamo semplicemente sommare i pesi degli elettori moltiplicati per (per "sì") o per (per "no"). Ha senso: se l'elettore 1 ha una media di risposte corrette pari a e l'elettore 2 ha solo , allora, probabilmente, il voto della prima persona dovrebbe essere considerato più importante. D'altra parte, se la prima persona ha risposto solo a 10 domande di questo tipo e la seconda persona ha risposto a 1000 di queste domande, siamo molto più sicuri del livello di abilità della seconda persona che di quelli della prima - è possibile che la prima persona sia stata fortunata e dopo 10 risposte relativamente riuscite continuerà con risultati molto peggiori.+1-1.9.8

Quindi, una domanda più precisa può sembrare così: esiste una metrica statistica che incorpora sia la forza che la fiducia su alcuni parametri?

Risposte:


4

Dovresti considerare l'esperienza di un elettore come una variabile latente del tuo sistema. Potresti quindi essere in grado di risolvere il tuo problema con l' inferenza bayesiana . Una rappresentazione come modello grafico potrebbe essere così:

graphical_model

UNVioioHioμioPr(UN=Vio)=μioμioPr(μio|Hio)μio

Pr(UN|Vio,Hio)=μioPr(UN,μio|UNio,Hio) dμio

Questi sistemi sono difficili da risolvere. È possibile utilizzare l'algoritmo EM come approssimazione o utilizzare uno schema di massimizzazione della probabilità completo per eseguire l'inferenza bayesiana esatta.

Dai un'occhiata a questo documento Variaference Inference for Crowdsourcing , Liu, Peng e Ihler 2012 ( presentato ieri al NIPS! ) Per algoritmi dettagliati per risolvere questo compito.


1
Grazie per la tua risposta, ma potresti per favore essere un po 'più specifico al riguardo? In particolare, cosa intendi per competenza? Se è solo una probabilità che la persona risponda correttamente, allora abbiamo già la sua stima come media delle risposte precedenti, quindi non è latente. Se intendi che l'esperienza comprende sia la media che la fiducia nella nostra stima, come possiamo propagare le probabilità per ottenere esperienza e risultati?
amico

Sì, puoi rappresentare sia la media che la fiducia con questa variabile di "competenza" e l'inferenza bayesiana. Ho aggiunto alcune spiegazioni e un riferimento alla mia risposta. Spero possa aiutare !
Emile,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.