Determinare l'accuratezza del modello che stima la probabilità dell'evento

Sto modellando un evento con due esiti, a e b. Ho creato un modello che stima la probabilità che accada aob (ovvero il modello calcolerà che a accadrà con una probabilità del 40% e che accadrà con una probabilità del 60%).

Ho un ampio record di risultati delle prove con le stime del modello. Vorrei quantificare la precisione con cui il modello utilizza questi dati - è possibile, e se sì come?

predictive-models scoring-rules

— Peter
fonte

Potrei sbagliarmi, ma penso che tu sia interessato all'errore di training e / o test del tuo modello. Vedi, ad esempio: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn Sta predicendo la probabilità, invece di classificarla direttamente come a o b, quindi non penso che quelle metriche siano ciò che sta chiedendo.

— Michael McGowan,

Sei più interessato a quanto alla fine il modello funzionerà per la classificazione (nel qual caso il tipo di analisi ROC e AUC sembra più rilevante ( en.wikipedia.org/wiki/Receiver_operating_characteristic )? O sei più interessato a capire come "calibrato" le previsioni di probabilità sono (cioè P (risultato = A) = 60% significa davvero il 60%, o solo quel risultato = A è più probabile degli altri risultati ...

— David R

Sembra che tu voglia conoscere il punteggio di probabilità .

— whuber

Elvis, un articolo sull'attuale numero di Decision Analysis ha attirato la mia attenzione sul punteggio di probabilità. Sembra basarsi su una sostanziale letteratura sull'argomento. (Tuttavia, non ho altro accesso all'astratto, quindi non posso commentare l'articolo stesso.) Un documento di copertina degli editori del giornale (che è disponibile gratuitamente ) menziona un numero di articoli precedenti sullo stesso argomento.

— whuber

Supponiamo che il tuo modello preveda che A abbia una probabilità del 40% e B abbia una probabilità del 60%. In alcune circostanze potresti voler convertire questo in una classificazione in cui B accadrà (poiché è più probabile che A). Una volta convertito in una classificazione, ogni previsione è giusta o sbagliata e ci sono una serie di modi interessanti per calcolare quelle risposte giuste e sbagliate. Uno è l'accuratezza diretta (la percentuale di risposte giuste). Altri includono precisione e richiamo o F-misura . Come altri hanno già detto, potresti voler guardare la curva ROC . Inoltre, il tuo contesto può fornire una matrice di costo specifica che premia i veri positivi in modo diverso dai veri negativi e / o penalizza i falsi positivi in modo diverso dai falsi negativi.

Tuttavia, non penso sia quello che stai davvero cercando. Se hai detto che B ha una probabilità del 60% di accadere e ho detto che aveva una probabilità del 99% di accadere, abbiamo previsioni molto diverse anche se entrambe sarebbero state mappate su B in un semplice sistema di classificazione. Se invece accade A, ti sbagli di grosso mentre io ho torto, quindi spero di ricevere una penalità più rigida di te. Quando il tuo modello effettivamente produce probabilità, una regola di punteggio è una misura della performance delle tue previsioni di probabilità. In particolare, probabilmente si desidera una regola di punteggio appropriata , il che significa che il punteggio è ottimizzato per risultati ben calibrati.

B S = \frac{1}{N} \sum_{t = 1}^{N} (f_{t} - o_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

Naturalmente il tipo di regola di punteggio che scegli potrebbe dipendere dal tipo di evento che stai tentando di prevedere. Tuttavia, questo dovrebbe darti alcune idee per ulteriori ricerche.

Aggiungerò un avvertimento che, indipendentemente da ciò che fai, quando valuti il tuo modello in questo modo ti suggerisco di guardare la tua metrica su dati fuori campione (cioè, dati non usati per costruire il tuo modello). Questo può essere fatto attraverso la validazione incrociata . Forse più semplicemente puoi costruire il tuo modello su un set di dati e poi valutarlo su un altro (facendo attenzione a non lasciare che le inferenze dalla fuori campione si riversino nella modellazione in-campione).

— Michael McGowan
fonte