Perché i minimi quadrati ordinari ottengono risultati migliori della regressione di Poisson?

Sto cercando di adattarmi a una regressione per spiegare il numero di omicidi in ogni distretto di una città. Anche se so che i miei dati seguono una distribuzione di Poisson, ho provato ad adattare un OLS in questo modo:

$log(y+1) = \alpha + \beta X + \epsilon$

Poi, ho anche provato (ovviamente!) Una regressione di Poisson. Il problema è che ho risultati migliori nella regressione OLS: lo pseudo- è più alto (0,71 contro 0,57) e anche l'RMSE (3,8 contro 8,88. Standardizzato per avere la stessa unità).$R^2$

Perché? È normale? Cosa c'è di sbagliato nell'utilizzo di OLS, indipendentemente dalla distribuzione dei dati?

modifica Seguendo i suggerimenti di kjetil b halvorsen e altri, ho adattato i dati attraverso due modelli: OLS e Negative Binomial GLM (NB). Ho iniziato con tutte le funzionalità che ho, quindi ho rimosso ricorsivamente una per una le funzionalità che non erano significative. OLS lo è

$\sqrt{\frac{crime}{area}} = \alpha + \beta X + \epsilon$

con pesi = .$area$

summary(w <- lm(sqrt(num/area) ~  RNR_nres_non_daily + RNR_nres_daily + hType_mix_std + area_filtr + num_community_places+ num_intersect + pop_rat_num + employed + emp_rat_pop + nden_daily + nden_non_daily+ bld_rat_area + bor_rat_area + mdist_highways+ mdist_parks, data=p, weights=area))

error2 <- p$num - (predict(w, newdata=p[,-1:-2], type="response")**2)*p$area

rmse(error2)
[1] 80.64783

L'NB prevede il numero di reati, con l'area del distretto compensata.

summary(m3 <- glm.nb(num ~  LUM5_single  + RNR_nres + mdist_daily + mdist_non_daily+ hType_mix_std + ratio_daily_nondaily_area + area_filtr + num_community_places  + employed  + nden_daily + nden_non_daily+ bld_rat_area + bor_rat_area + mdist_smallparks + mdist_highways+ mdist_parks + offset(log(area)), data=p, maxit = 1000))

error <- p$num - predict(m3, newdata=p[,-1:-2], type="response")

rmse(error)
[1] 121.8714

Residui di OLS:

NB residui

Quindi l'RMSE è più basso nell'OLS ma sembra che i residui non siano così normali ....

Sospetto che parte del problema potrebbe risiedere nella scelta della metrica delle prestazioni. Se si misura la prestazione del test utilizzando RMSE, addestrare il modello per ridurre al minimo l'MSE corrisponde al criterio del test, dando un suggerimento su ciò che è considerato importante. È possibile che se si misurano le prestazioni del test utilizzando la probabilità logaritmica negativa del set di test utilizzando una probabilità Poisson che il modello Poisson funzioni meglio (come prevedibile). Questo potrebbe essere un problema minore rispetto ad altri problemi sollevati, ma potrebbe essere un utile controllo di integrità.

Innanzitutto, con tali dati mi aspetterei un'eccessiva dispersione (se non sai di cosa si tratta, vedi /stats//search?q=what+is+overdispersion%3F ).

Questo dovrebbe essere affrontato con un glm di Poisson, ma non è un problema con la normale regressione lineare. Come detto in un commento, con un po 'di glm che vuoi includere come offset, con una regressione lineare dovrai usare come variabile di risposta . Una possibile ragione della discrepanza dei risultati è che il problema è stato trattato in modo diverso nei due casi. Puoi pubblicare qui alcuni grafici di risultati, come i grafici residui, in modo da poter vedere cosa sta succedendo. Oppure potresti pubblicare i tuoi dati come tabella nel post originale .... potrebbe essere interessante dare un'occhiata.Nr. $\log(\text{DistrictSize})$$\frac{\text{Nr. homicides}}{\text{District Size}}$

Un altro problema è la trasformazione che hai usato con la regressione lineare. La normale trasformazione di stabilizzazione della varianza utilizzata con i dati di conteggio è la radice quadrata, non il logaritmo.

Un altro problema è la scelta della trasformazione utilizzata con la regressione lineare. Quando si utilizza come risposta , sarà necessaria una regressione lineare ponderata. Supponendo come approssimazione , abbiamo Quindi dovresti usare la regressione lineare ponderata con come peso. Una semplice analisi mostra che, come approssimazione, gli stessi pesi sono appropriati con o come risposte.$Y_i/x_i$$Y_i \sim \text{Poisson}(\lambda x_i)$

    EDIT

Per quanto riguarda la tua analisi aggiuntiva nel post, nota che rmse non può essere confrontato direttamente tra i due modelli, poiché vengono utilizzate risposte diverse! Per effettuare un confronto diretto, sarà necessario ritrasformare i valori previsti sulla scala originale. Quindi puoi calcolare rmse da solo e vedere. Si noti tuttavia che le previsioni ottenute dopo la trasformazione posteriore possono essere distorte, a causa delle non linearità. Pertanto, alcune modifiche alle previsioni ritrattate potrebbero renderle più utili. In alcuni casi, questo potrebbe essere calcolato teoricamente, altrimenti potresti semplicemente usare un bootstrap.

Ci sono molte scelte di pseudo di. Molti di loro sono molto imperfetti. In generale, di solito non c'è motivo per cui l' prodotto da OLS avrà un valore comparabile a un dato pseudo ; piuttosto, gli pseudo vengono in genere utilizzati per confrontare i modelli della stessa famiglia distributiva.$R^2$$R^2$$R^2$$R^2$

È vero che i tuoi dati non sono normalmente distribuiti (il che presumo sia il motivo per cui hai anche eseguito una regressione di Poisson) ma probabilmente i tuoi dati non sono nemmeno una distribuzione di Poisson. La distribuzione di Poisson presuppone che la media e la varianza siano uguali, il che probabilmente non è il caso (come menzionato in altre risposte - è possibile catturare questa discrepanza e incorporarla nel modello). Poiché i tuoi dati non sono davvero perfetti per entrambi i modelli, ha senso che OLS possa funzionare meglio.

Un'altra cosa da notare è che le stime ordinarie dei minimi quadrati sono robuste rispetto alla non normalità, il che potrebbe essere il motivo per cui stai ottenendo un modello ragionevole. Il teorema di Gauss-Markov ci dice che le stime dei coefficienti OLS sono i migliori (in termini di errore al quadrato medio) stimatori non lineari imparziali (BLU) secondo i seguenti presupposti,

• Gli errori hanno una media di zero
• Le osservazioni non sono correlate
• Gli errori hanno varianza costante

Non vi è alcuna ipotesi di normalità qui, quindi i tuoi dati possono benissimo essere ragionevoli per questo modello! Detto questo, esaminerei un modello di Poisson con un parametro di dispersione eccessiva cotto all'interno e dovresti ottenere risultati migliori.