Elicitare i priori ... con i soldi!

Supponiamo di avere 'esperti', da cui vorrei suscitare una distribuzione a priori su alcune variabili . Vorrei motivarli con soldi veri . L'idea è di suscitare i priori, osservare realizzazioni della variabile casuale , quindi dividere una predeterminata "borsa" tra gli esperti in base al modo in cui i loro priori corrispondono alle prove. Quali sono i metodi suggeriti per quest'ultima parte, mappando i priori e le prove su un vettore di pagamento? $k$ $X$ $n$ $X$

bayesian prior

— shabbychef
fonte

Dal momento che probabilmente non c'è una risposta giusta, potremmo volere CW questo. Lo lascio a discrezione del moderatore.

— shabbychef,

Potrebbe esserci un'unica buona risposta obiettivamente valida a questa domanda, quindi esito a trasformarla in CW.

— whuber

Questo è simile all'idea dei mercati di previsione . PredictionBook è un posto decente in cui cercare.

— Ely,

Risposte:

Nello spirito del mio commento sopra, penso che la cosa giusta da considerare sia un mercato di previsione . Per la precisione delle previsioni, è necessario vendere titoli con un certo rendimento fisso. È possibile utilizzare misure standard di distanza probabilistica, come quelle menzionate da Daniel Johnson nella sua risposta. Ma il punto è fissare i pagamenti sotto forma di titoli e fissare gli standard di misura in anticipo (preferibilmente usare solo eventi binari, come accaduto o no). In questo modo, se qualcuno è disposto a pagare X per un titolo che paga $ 1,00 se l'evento che copre si verifica effettivamente, sai che assegnano la probabilità X all'evento che copre il titolo. La liquidità del mercato si occuperà di come i titoli sono distribuiti tra gli esperti. $A$ $\$$

Penso che questo sia superiore ad avere un vettore di pagamento fisso come quello che potresti avere per un torneo di golf. La ragione è che in un torneo di golf, tutto ciò che conta è quanto bene fai contro i concorrenti, non il tuo punteggio complessivo. Quando vuoi incentivare le credenze precedenti più accurate possibili, non vuoi che le persone pensino che debbano superarsi a vicenda per ottenere il premio ... vuoi che siano disposte a scommettere i propri soldi per ottenere pagamenti perché poi essi stessi devono credere nella loro valutazione precedente, non solo che la loro valutazione precedente è migliore di quella di qualcun altro.

— ely
fonte

Vale anche la pena notare che gli effetti della manipolazione del mercato sono stati studiati sperimentalmente nei mercati delle previsioni (vedere qui e qui ) e, mentre è necessario svolgere più lavoro, sembra che i partecipanti possano facilmente compensare i manipolatori malintenzionati. I risultati empirici suggeriscono che sarebbe estremamente difficile "giocare" al sistema, come hai menzionato nell'altro

— ely,

La parola chiave da cercare sono le regole di punteggio : si tratta di funzioni per valutare e premiare previsioni probabilistiche, e c'è stato un bel po 'di lavoro sull'argomento, che risale agli anni '50. La cosa principale che devi controllare è che sia corretto , cioè che l'esperto da cui stai sollecitando il priore abbia l'incentivo a essere onesto.

Esistono molte possibili regole di punteggio adeguate: una delle più semplici è la regola di punteggio logaritmico: premi l'esperto con una (funzione lineare di) probabilità log che ha assegnato all'evento.

— Simon Byrne
fonte

Grazie! Mi sporgevo verso qualcosa di simile. In particolare, volevo che fosse difficile "giocare" al sistema da un agente senza alcuna informazione.

— shabbychef,

Controlla il commento che ho aggiunto alla mia risposta sopra ( link ), perché ci sono alcune ricerche promettenti su come i mercati di previsione sono specificamente robusti contro i manipolatori e altri che cercano di "giocare" al sistema. Questo è veramente superiore alle semplici regole di punteggio che offrono pagamenti solo per ottenere una migliore precisione rispetto ai colleghi.

— ely,

@EMS: Cosa rende superiori i mercati delle previsioni? Il punto centrale di una regola di punteggio è che il punteggio è indipendente dai concorrenti (anche se, certamente, non sono spesso implementati in quel modo nella pratica: cioè tutto il denaro viene dato alla persona con il punteggio più alto)

— Simon Byrne,

Se la vera distribuzione è conosciuta da chi paga il denaro, una statistica naturale da guardare sarebbe l' entropia relativa del dato precedente e la vera distribuzione. Quindi il pagamento potrebbe essere solo una funzione decrescente monotona dell'entropia relativa.

$n$ $\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

$X$ $n$

— Daniel Johnson
fonte

Sicuramente, però, gli esperti prenderebbero in considerazione tutte queste cose prima di darti il loro "precedente".

— Ely,

n

$n$

n

$n$

$

$\$$

Ciò che è pulito è che le quantità fisiche, come la stima delle distanze o il numero di M & M in un barattolo, gli umani sono stimatori imparziali: prendono la media di un gran numero di ipotesi ed è solitamente molto vicino. Ma ha scritto quantità non fisiche, come quello che sarà il prezzo del gas il prossimo mese, gli umani (anche gli esperti) sono terribili , anche in media. La letteratura sulla pianificazione dell'errore è spaventosa, specialmente gli esempi di urbanisti professionisti che valutano costantemente male i costi dei progetti municipali, proprio come il modo in cui gli studenti delle statistiche fanno male con la propensione all'errore congiunturale.

— Ely,

Quello principale che conosco di persona è stato discusso in un vecchio libro sulla visione "L'approccio ecologico alla percezione visiva" di James Gibson. Ha menzionato alcuni esperimenti con persone che stimano le distanze su un campo di calcio tra due persone in piedi lontano e altre cose simili. Non ricordo dove ho sentito la cosa dell'M & M, ma cercherò di trovare alcune fonti su di essa.

— Ely,