Riepilogo: esiste una teoria statistica per supportare l'uso della distribuzione (con gradi di libertà basati sulla devianza residua) per i test dei coefficienti di regressione logistica, piuttosto che la distribuzione normale standard?
Qualche tempo fa ho scoperto che quando si adattava un modello di regressione logistica in SAS PROC GLIMMIX, in base alle impostazioni predefinite, i coefficienti di regressione logistica sono testati utilizzando una distribuzione anziché la distribuzione normale standard. Vale a dire, GLIMMIX riporta una colonna con il rapporto (che chiamerò nel resto di questa domanda ), ma riporta anche una colonna "gradi di libertà", nonché un valore basato sull'assunzione di una distribuzione per1 β 1 / √ zptzcon gradi di libertà basati sulla devianza residua - ovvero gradi di libertà = numero totale di osservazioni meno il numero di parametri. Alla fine di questa domanda fornisco un po 'di codice e output in R e SAS per dimostrazione e confronto.
Questo mi ha confuso, dal momento che pensavo che per i modelli lineari generalizzati come la regressione logistica, non esistesse una teoria statistica per supportare l'uso della distribuzione in questo caso. Invece pensavo che ciò che sapevamo di questo caso fosse quello
- è "approssimativamente" normalmente distribuito;
- questa approssimazione potrebbe essere scarsa per campioni di piccole dimensioni;
- tuttavia non si può presumere che abbia una distribuzione come possiamo ipotizzare in caso di regressione normale.t
Ora, a livello intuitivo, mi sembra ragionevole che se è distribuito approssimativamente normalmente, potrebbe in effetti avere una distribuzione sostanzialmente " like", anche se non è esattamente . Quindi l'uso della distribuzione qui non sembra folle. Ma quello che voglio sapere è il seguente:t t t
- Esiste infatti una teoria statistica che mostra che segue davvero una distribuzione nel caso della regressione logistica e / o di altri modelli lineari generalizzati?t
- Se non esiste una tale teoria, ci sono almeno documenti là fuori che dimostrano che assumere una distribuzione in questo modo funziona così come, o forse anche meglio, assumere una distribuzione normale?
Più in generale, esiste un reale supporto per ciò che GLIMMIX sta facendo qui oltre all'intuizione che probabilmente è sostanzialmente sensato?
Codice R:
summary(glm(y ~ x, data=dat, family=binomial))
Uscita R:
Call:
glm(formula = y ~ x, family = binomial, data = dat)
Deviance Residuals:
Min 1Q Median 3Q Max
-1.352 -1.243 1.025 1.068 1.156
Coefficients:
Estimate Std. Error z value Pr(>|z|)
(Intercept) 0.22800 0.06725 3.390 0.000698 ***
x -0.17966 0.10841 -1.657 0.097462 .
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
(Dispersion parameter for binomial family taken to be 1)
Null deviance: 1235.6 on 899 degrees of freedom
Residual deviance: 1232.9 on 898 degrees of freedom
AIC: 1236.9
Number of Fisher Scoring iterations: 4
Codice SAS:
proc glimmix data=logitDat;
model y(event='1') = x / dist=binomial solution;
run;
Uscita SAS (modificata / abbreviata):
The GLIMMIX Procedure
Fit Statistics
-2 Log Likelihood 1232.87
AIC (smaller is better) 1236.87
AICC (smaller is better) 1236.88
BIC (smaller is better) 1246.47
CAIC (smaller is better) 1248.47
HQIC (smaller is better) 1240.54
Pearson Chi-Square 900.08
Pearson Chi-Square / DF 1.00
Parameter Estimates
Standard
Effect Estimate Error DF t Value Pr > |t|
Intercept 0.2280 0.06725 898 3.39 0.0007
x -0.1797 0.1084 898 -1.66 0.0978
In realtà l'ho notato per la prima volta sui modelli di regressione logistica a effetti misti in PROC GLIMMIX, e in seguito ho scoperto che GLIMMIX lo fa anche con una regressione logistica "vaniglia".
n Capisco che nell'esempio mostrato di seguito, con 900 osservazioni, la distinzione qui probabilmente non fa alcuna differenza pratica. Non è proprio questo il punto. Questi sono solo dati che ho rapidamente inventato e scelto 900 perché è un bel numero. Tuttavia, mi chiedo un po 'le differenze pratiche con campioni di piccole dimensioni, ad esempio <30.
PROC LOGISTIC
in SAS produce i soliti test di tipo calvo basati sul punteggio . Mi chiedo cosa abbia spinto a cambiare la nuova funzione (sottoprodotto della generalizzazione?).