Stima della probabilità di successo, data una popolazione di riferimento


11

Supponiamo di avere la seguente situazione:

Nel corso del tempo hai osservato 1000 giocatori di bowling, ognuno dei quali ha giocato un numero relativamente piccolo di giochi (diciamo da 1 a 20). Hai notato la percentuale di strike per ciascuno di quei giocatori rispetto al numero di partite giocate da ciascuno di quei giocatori.

Un nuovo giocatore di bowling entra e gioca 10 partite e ottiene 3 colpi.

Si presume che la distribuzione del numero di strike per ogni giocatore sia binomiale.

Voglio stimare la "vera" probabilità di successo per quel giocatore.

Si prega di prendere nota di quanto segue:

  1. Questa non è una situazione reale o un problema scolastico, solo un problema di auto-pensiero.
  2. Sono uno studente con un po 'più di educazione statistica rispetto a un corso Stat 101. Conosco un po 'di inferenza come la stima della massima verosimiglianza ... Quindi sentiti libero di dirmi aree nelle statistiche di cui dovrei leggere.
  3. Il mio problema potrebbe non avere informazioni o se sarebbe utile, diciamo, che la distribuzione della probabilità di successo sia approssimativamente normale, per favore dimmelo.

Grazie mille


Che cosa pensi sia la relazione tra la probabilità di questo giocatore e la probabilità per ciascuno degli altri 1000 giocatori? In altre parole, perché dovremmo considerare gli altri 1000 nella stima del prob di questo giocatore?
rolando2,

1
Suppongo che la vera percentuale di strike del giocatore sia essenzialmente una realizzazione della stessa distribuzione delle percentuali di strike degli altri 1000 giocatori. In altre parole, non c'è niente di speciale in quel nuovo giocatore, è solo un altro giocatore a caso. Spero che abbia senso.
Uwat,

Risposte:


10

Questo è un ottimo esempio per illustrare la differenza tra approcci frequentista e bayesiano all'inferenza.

La mia prima, semplicistica risposta da frequentatore: se hai già ipotizzato che la distribuzione degli scioperi sia binomiale, non devi sapere nulla degli altri 1000 giocatori (a parte forse potresti usarli per verificare la tua ipotesi binomiale).

Una volta chiarito il presupposto binomiale, la stima è molto semplice: 3/10. La varianza di questa stima è la solita p (1-p) / n = 0,021.

Fondamentalmente, gli altri 1000 giocatori sono irrilevanti a meno che tu non pensi che ci sia qualcosa di interessante e non binomiale nella distribuzione degli strike (ad es. Le persone migliorano mentre giocano più giochi).

Un modo bayesiano più considerato di guardarlo: in alternativa, se sei interessato ad applicare le conoscenze precedenti che hai di altri giocatori e pensi che il nuovo giocatore sia fondamentalmente un nuovo campione di quella stessa popolazione, dovresti pensarlo in Bayesiano termini .

Stimare una distribuzione precedente di giocatori. Per fare questo, devi guardare i tuoi 1000 punti dati - i 1000 giocatori che sono già stati osservati, per ognuno dei quali hai una stima della loro probabilità di un colpo. Ognuno di questi 1000 punti può assumere solo uno dei 21 valori (da zero a venti colpi su venti) e vedrai una distribuzione su tutto il campo. Se converti questi punteggi in proporzioni (cioè tra zero e uno) questa distribuzione può probabilmente essere approssimata ragionevolmente bene da una distribuzione di probabilità di una variabile casuale con una distribuzione Beta. Una distribuzione beta è completamente caratterizzata da solo due parametri - diciamo aeb - ma poiché questi parametri non hanno realmente a che fare con la distribuzione di cui ci hai chiesto (la probabilità di un colpo del giocatore in particolare) ma una distribuzione di livello superiore chiamali iperparametri. Puoi sviluppare stime di questi iperparametri dai tuoi 1000 punti dati in uno dei vari modi che non sono realmente rilevanti per il punto principale della tua domanda.

Prima di avere qualsiasi informazione sul tuo giocatore, la tua ipotesi migliore sulla sua percentuale di segnare uno strike (chiamiamolo p) sarebbe solo il valore più probabile di p da quella distribuzione Beta che abbiamo appena inserito.

Tuttavia, abbiamo dati sul nostro giocatore, non solo sulla popolazione generale! In Dio ci fidiamo, tutti gli altri devono portare i dati (attribuirei questa citazione se potessi ricordare dove l'ho trovata, scusa). Ogni volta che osserviamo il nostro giocatore giocare e fare uno strike o no, abbiamo una nuova informazione per precisare la nostra stima della sua proporzione.

Una delle cose interessanti della distribuzione beta come distribuzione di probabilità per una proporzione è che mentre raccogliamo nuove informazioni dai dati e creiamo una nuova stima migliorata della proporzione, la teoria della probabilità può mostrare che anche la nuova stima migliorata è una beta distribuzione - solo una versione più concentrata. Questo perché la distribuzione beta è ciò che viene definito un coniugato prima quando si cerca di fare stime su un modello binomiale.

Cioè, se osserviamo z su n eventi di successo (giochi con strike in questo caso); e la distribuzione precedente era beta (a, b); la distribuzione posteriore (sono la stima della distribuzione di probabilità di p dati sia i 1000 punti di dati originali sia una nuova osservazione di dieci giochi) è beta (a + z, b + nz) o (nel nostro caso) beta (a + 3, b + 7). Come puoi vedere, più dati ottieni, meno importanti sono aeb. La matematica di questo è ragionevolmente semplice e in molti testi, ma non così interessante (per me, comunque).

Se hai R puoi vedere un esempio eseguendo il codice qui sotto (e se non hai R dovresti ottenerlo - è gratuito ed è fantastico per aiutare a pensare attraverso questo tipo di problema). Questo presuppone che la distribuzione precedente dei giocatori possa essere modellata dalla beta (2,5) - questo è stato appena creato da me. In realtà, ci sono modi in cui è possibile stimare le cifre per aeb meglio del semplice recupero di 2 e 5 perché penso che la curva sembri ok.

Come vedrai se esegui questo esempio stilizzato, la stima puntuale della probabilità del giocatore di segnare uno strike, data una precedente distribuzione di beta (2,5), è 0,29 anziché 0,30. Inoltre, possiamo creare un intervallo di credibilità, che è francamente più intuitivo e più facile da spiegare rispetto a un intervallo di confidenza (vedi molte domande e discussioni su Internet della differenza tra i due, anche su CrossValidated).

plot(0:100/100,dbeta(0:100/100,2,5), type="l", ylim=c(0,4), bty="l")
lines(0:100/100,dbeta(0:100/100,2+3,5+7), type="l", lty=2)
legend(0.6,3.5,c("Posterior distribution", "Prior distribution"), 
    lty=2:1, bty="n")
qbeta(c(0.025, 0.975), 2, 5) # credibility interval prior to any new data
qbeta(c(0.025, 0.975), 2+3, 5+7) # credibility interval posterior to data
qbeta(0.5, 2+3, 5+7) # point estimate of p, posterior to data

Quindi osserva il tuo nuovo giocatore; e calcola una nuova distribuzione posteriore per il nuovo giocatore. In effetti questo dice "dato quello che abbiamo appena osservato, dove nella distribuzione dei giocatori pensiamo che questa persona abbia più probabilità di essere?"


2
Non penso sia corretto. Supponiamo che la stragrande maggioranza (99%) delle persone tra le 1000 persone abbia una percentuale di sciopero tra il 5% e il 15% e una manciata abbia percentuali di sciopero superiori al 25%. Quindi direi che è più probabile che il nuovo giocatore che abbiamo osservato abbia una percentuale di strike reale inferiore al 30%, ma semplicemente "fortunato".
Uwat,

ok, buon punto - ho aggiunto una modifica per tener conto di questa situazione. Fondamentalmente hai una buona affermazione di un problema di inferenza bayesiana.
Peter Ellis,

@Peter - tutto ben argomentato.
rolando2,

Grazie per la tua risposta. Tuttavia, non ho capito bene cosa intendevi con "hai bisogno di una distribuzione effettiva dei tassi di sciopero individuali che probabilmente saranno Beta di qualche tipo" Puoi chiarire un po '? Grazie
Uwat,

Grazie, davvero un'ottima domanda, ho ampliato notevolmente la mia risposta in risposta.
Peter Ellis,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.