Metriche di errore per modelli Poisson con convalida incrociata

Sto convalidando in modo incrociato un modello che sta cercando di prevedere un conteggio. Se questo fosse un problema di classificazione binaria, calcolerei l'AUC out-fold e se questo fosse un problema di regressione calcolerei RMSE o MAE out-of-fold.

Per un modello di Poisson, quali parametri di errore posso usare per valutare la "precisione" delle previsioni fuori campione? Esiste un'estensione di Poisson dell'AUC che esamina in che misura le previsioni ordinano i valori effettivi?

Sembra che molte competizioni di Kaggle per i conteggi (ad es. Il numero di voti utili che una recensione di guaina otterrà o il numero di giorni che un paziente trascorrerà in ospedale) utilizzano un errore quadratico logaritmico radice o RMLSE.

/ Modifica: una cosa che ho fatto è calcolare i decili dei valori previsti e quindi guardare i conteggi effettivi, integrati dal decile. Se il decile 1 è basso, il decile 10 è alto e i decili in mezzo sono in costante aumento, ho chiamato il modello "buono", ma ho avuto problemi a quantificare questo processo e sono convinto che ci sia un migliore approccio.

/ Modifica 2: sto cercando una formula che accetta i valori previsti ed effettivi e restituisce alcune metriche "errore" o "accuratezza". Il mio piano è quello di calcolare questa funzione sui dati out-of-fold durante la convalida incrociata e quindi usarla per confrontare un'ampia varietà di modelli (ad esempio una regressione di Poisson, una foresta casuale e un GBM ).

Ad esempio, una di queste funzioni è RMSE = sqrt(mean((predicted-actual)^2)). Un'altra tale funzione sarebbe AUC . Nessuna delle due funzioni sembra essere corretta per i dati di poisson.

Esistono un paio di regole di punteggio corrette e strettamente appropriate per i dati di conteggio che è possibile utilizzare. Le regole di punteggio sono penalità introdotte con P come distribuzione predittiva e y come valore osservato. Hanno un certo numero di proprietà desiderabili, in primo luogo che una previsione più vicina alla probabilità reale riceverà sempre meno penalità e che ci sia una previsione (unica) migliore e che è quando la probabilità prevista coincide con la probabilità reale. Ridurre al minimo le aspettative di s ( y , P ) significa riportare le vere probabilità. Vedi anche Wikipedia .$s(y,P)$$P$$y$$s(y,P)$

Spesso si prende una media di quelli su tutti i valori previsti come

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

Quale regola prendere dipende dal tuo obiettivo, ma darò una caratterizzazione approssimativa quando ognuno è buono per essere usato.

In quanto segue uso per la funzione di massa di probabilità predittiva Pr ( Y = y ) e F ( y ) la funzione di distribuzione cumulativa predittiva. A ∑ k corre su tutto il supporto della distribuzione count (cioè 0 , 1 , ... , ∞ ). I denota la funzione di indicatore. μ e σ sono la deviazione media e standard della distribuzione predittiva (che di solito sono quantità stimate direttamente nei modelli di dati di conteggio). $f(y)$$\Pr(Y=y)$$F(y)$$\sum_k$$0,1,\dots, \infty$$I$$\mu$$\sigma$

Regole di punteggio rigorosamente appropriate

• Brier Score : (stabile per squilibrio dimensionale nei predittori categorici)$s(y,P)=-2 f(y) + \sum_k f^2(k)$
• Punteggio Dawid-Sebastiani : (buono per la scelta generale del modello predittivo; stabile per lo squilibrio dimensionale nei predittori categorici)$s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
• Punteggio di devianza : ( g y è un termine di normalizzazione che dipende solo da y , nei modelli di Poisson è solitamente considerato come deviazione saturata; buono per l'uso con le stime da un framework ML)$s(y,P)=-2\log f(y) + g_y$$g_y$$y$
• Punteggio logaritmico : (calcolato molto facilmente; stabile per squilibrio dimensionale nei predittori categorici)$s(y,P)=-\log f(y)$
• Punteggio di probabilità classificato : (buono per contrastare diverse previsioni di conteggi molto alti; suscettibile allo squilibrio dimensionale nei predittori categorici)$s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
• Punteggio sferico : (stabile per squilibrio dimensioni in predittori categoriali)$s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

Altre regole di punteggio (non così appropriate ma spesso utilizzate)

• Punteggio di errore assoluto : (non corretto)$s(y,P)=|y-\mu|$
• Punteggio di errore quadrato : (non strettamente appropriato; sensibile agli outlier; sensibile allo squilibrio dimensionale nei predittori categorici)$s(y,P)=(y-\mu)^2$
• Punteggio di errore quadrato normalizzato di Pearson : $s(y,P)=(\frac{y-\mu}{\sigma})^2$

Esempio di codice R per le regole strettamente appropriate:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)