Scegliere tra le regole di punteggio appropriate

La maggior parte delle risorse sulle regole di punteggio adeguate menzionano una serie di regole di punteggio diverse come perdita di log, punteggio di Brier o punteggio sferico. Tuttavia, spesso non forniscono molte indicazioni sulle differenze tra loro. (Allegato A: Wikipedia .)

Scegliere il modello che massimizza il punteggio logaritmico corrisponde a scegliere il modello di massima verosimiglianza, che sembra un buon argomento per usare il punteggio logaritmico. Vi sono giustificazioni simili per Brier o punteggio sferico o altre regole di punteggio? Perché qualcuno dovrebbe usare uno di questi piuttosto che il punteggio logaritmico?

Perché qualcuno dovrebbe usare uno di questi piuttosto che il punteggio logaritmico?

Quindi idealmente, distinguiamo sempre l' adattamento di un modello dal prendere una decisione . Nella metodologia bayesiana, il punteggio e la selezione dei modelli devono sempre essere eseguiti utilizzando la probabilità marginale . Quindi usi il modello per fare previsioni probabilistiche e la tua funzione di perdita ti dice come agire su tali previsioni.

Sfortunatamente nel mondo reale, le prestazioni computazionali spesso ci impongono di confondere la selezione del modello e il processo decisionale e quindi utilizzare una funzione di perdita per adattarci ai nostri modelli. È qui che si insinua la soggettività nella selezione dei modelli, perché devi indovinare quanto ti costeranno i diversi tipi di errore. L'esempio classico è una diagnosi di cancro: sopravvalutare la probabilità di un cancro di qualcuno non è buona, ma sottovalutarlo è molto peggio.

A parte questo, se stai cercando una guida su come scegliere una regola di punteggio, potresti anche voler cercare una guida sulla scelta di una funzione di perdita o sulla progettazione di una funzione di utilità, poiché penso che la letteratura su questi due argomenti sia molto più voluminoso.