Quale misura pseudo- è quella da segnalare per la regressione logistica (Cox & Snell o Nagelkerke)?

Ho un SPSSoutput per un modello di regressione logistica. L'output riporta due misure per l'adattamento del modello Cox & Snelle Nagelkerke.

Quindi, come regola empirica, quali di queste misure $R^²$ riferiresti come modello adatto?

Oppure, quale di questi indici di adattamento è quello che viene solitamente riportato nelle riviste?

Alcuni retroscena: la regressione cerca di prevedere la presenza o l'assenza di un uccello (gallo cedrone) da alcune variabili ambientali (es. Pendenza, copertura vegetale, ...). Sfortunatamente, l'uccello non è apparso molto spesso (35 colpi a 468 miss), quindi la regressione si comporta piuttosto male. Cox & Snell è .09, Nagelkerke, .23.

L'argomento è scienze ambientali o ecologia.

Normalmente non segnalerei affatto . Hosmer e Lemeshow, nel loro libro di testo Applied Logistic Regression (2nd Ed.), Spiegano perché:$R^2$

In generale, [ misure ] si basano su vari confronti dei valori previsti dal modello adattato a quelli del [modello base], il modello senza dati o solo intercettazione e, di conseguenza, non valutano la bontà di -in forma. Pensiamo che una vera misura di adattamento si basi rigorosamente su un confronto tra i valori osservati e quelli previsti dal modello montato.$R^2$

[A pag. 164.]

Per quanto riguarda le varie versioni ML di , lo stat "pseudo ", citano che non è "raccomandato per l'uso di routine, in quanto non è intuitivamente facile da spiegare", ma si sentono obbligati a descriverlo perché vari i pacchetti software lo segnalano.$R^2$$R^2$

Concludono questa discussione scrivendo,

... valori bassi di nella regressione logistica sono la norma e ciò presenta un problema quando si segnalano i loro valori a un pubblico abituato a vedere valori di regressione lineare. ... Quindi [argomentando facendo riferimento agli esempi in esecuzione nel testo] non raccomandiamo la pubblicazione di routine di valori con risultati da modelli logistici adattati. Tuttavia, possono essere utili nello stato di creazione del modello come statistica per valutare i modelli concorrenti.$R^2$$R^2$

[A pag. 167.]

La mia esperienza con alcuni grandi modelli logistici (record da 100k a 300k, variabili esplicative da 100 a 300) è stata esattamente come descritta da H&L. Potrei raggiungere relativamente alto con i miei dati, fino a circa 0,40. Questi corrispondevano a tassi di errore di classificazione compresi tra il 3% e il 15% (falsi negativi e falsi positivi, bilanciati, come confermato utilizzando set di dati del 50%). Come ha suggerito H&L, ho dovuto dedicare molto tempo a disabituare il cliente (un consulente sofisticato stesso, che aveva familiarità con ) per quanto riguarda e convincerlo a concentrarsi su ciò che contava nell'analisi (errore di classificazione aliquote). Posso consigliare caldamente di descrivere i risultati della tua analisi senza fare riferimento a , che è più probabile che induca in errore.$R^2$$R^2$$R^2$$R^2$

Entrambi gli indici sono misure di forza dell'associazione (ovvero se un predittore è associato al risultato, come per un test LR) e possono essere utilizzati per quantificare la capacità predittiva o le prestazioni del modello. Un singolo predittore può avere un effetto significativo sul risultato, ma potrebbe non essere necessariamente così utile per prevedere la risposta individuale , quindi la necessità di valutare le prestazioni del modello nel suo insieme (rispetto al modello nullo). Nagelkerke è utile perché ha un valore massimo di 1,0, come ha detto Srikant. Questa è solo una versione normalizzata di calcolata dal rapporto di verosimiglianza,$R^2$$R^2$$R^2_{\text{LR}}=1-\exp(-\text{LR}/n)$, che ha una relazione con la statistica Wald per l'associazione generale, come originariamente proposto da Cox e Snell. Altri indici di capacità predittiva sono il punteggio di Brier, l'indice C (probabilità di concordanza o area ROC) o D di Somers, questi ultimi due forniscono una misura migliore della discriminazione predittiva.

Le uniche ipotesi fatte nella regressione logistica sono quelle di linearità e additività (+ indipendenza). Sebbene siano stati proposti molti test globali di bontà di adattamento (come il test Hosmer & Lemeshow , ma vedi il mio commento a @onestop), generalmente mancano di energia. Per valutare il modello in forma, è meglio affidarsi a criteri visivi (stime stratificate, lisciatura non parametrica) che aiutano a macchia di partenza locale o globale tra i risultati previsti e osservati (ad esempio, la non linearità o di interazione), e questo è in gran parte in dettaglio nella di Harrell RMS volantino . Su un argomento correlato (test di calibrazione), Steyerberg ( Modelli di predizione clinica)$\chi^2$, 2009) indica lo stesso approccio per valutare l'accordo tra risultati osservati e probabilità previste:

La calibrazione è correlata alla bontà di adattamento, che si riferisce alla capacità di un modello di adattarsi a un determinato set di dati. In genere, non esiste un singolo test di bontà di adattamento che abbia un buon potere contro tutti i tipi di mancanza di adattamento di un modello di previsione. Esempi di mancanza di adattamento sono mancate non linearità, interazioni o una funzione di collegamento inappropriata tra il predittore lineare e il risultato. La bontà di adattamento può essere testata con una statistica . (p. 274)$\chi^2$

Suggerisce inoltre di fare affidamento sulla differenza assoluta tra risultati osservati uniformi e probabilità previste, sia visivamente, sia con la cosiddetta statistica E di Harrell.

Maggiori dettagli sono disponibili nel libro di Harrell, Regressione Modeling Strategies (pagg. 203-205, 230-244, 247-249). Per una discussione più recente, vedi anche

Steyerberg, EW, Vickers, AJ, Cook, NR, Gerds, T, Gonen, M, Obuchowski, N, Pencina, MJ e Kattan, MW (2010). Valutare le prestazioni dei modelli di previsione, un quadro per misure tradizionali e innovative . Epidemiologia , 21 (1) , 128-138.

Avrei pensato che il problema principale con qualsiasi tipo di misura per la regressione logistica è che hai a che fare con un modello che ha un valore di rumore noto. Ciò è diverso dalla regressione lineare standard, in cui il livello di rumore viene generalmente considerato sconosciuto. Perché possiamo scrivere una funzione di densità di probabilità glm come:$R^2$

Dove Sono funzioni note e per la funzione di collegamento inverso . Se definiamo i soliti residui di devianza GLM come$b(.),\ c(.),\ d(.;.)$$\mu_i=g^{-1}(x_i^T\beta)$$g^{-1}(.)$

Dove è la dimensione di . Per la regressione logistica abbiamo , che è noto. Quindi possiamo usarlo per decidere su un livello definito di residuo "accettabile" o "ragionevole". Questo di solito non può essere fatto per la regressione OLS (a meno che non si disponga di informazioni precedenti sul rumore). Vale a dire, ci aspettiamo che ogni residuo di devianza sia di circa . Troppi ed è probabile che manchi un effetto importante ( ); troppi ed è probabile che ci siano effetti ridondanti o spuri nel modello (adattamento eccessivo). (questi potrebbero anche significare errata specificazione del modello).$p$$\beta$$\phi=1$$1$$d_i^2\gg1$$d_i^2\ll1$

Ciò significa che il problema per lo pseudo- è che non tiene conto del fatto che il livello di variazione binomiale è prevedibile (a condizione che la struttura dell'errore binomiale non sia messa in discussione). Pertanto, anche se Nagelkerke varia da a , non viene ancora ridimensionato correttamente. Inoltre, non riesco a capire perché questi sono chiamati pseudo se non sono uguali al solito quando si inserisce un "GLM" con un collegamento di identità e un errore normale. Ad esempio, l'equivalente cox-snell R-quadrato per errore normale (usando la stima REML della varianza) è dato da:$R^2$$0$$1$$R^2$$R^2$

Che certamente sembra strano.

Penso che la migliore misura di "bontà di adattamento" sia la somma dei residui di devianza, . Questo principalmente perché abbiamo un obiettivo a cui puntare.$\chi^2$

Ho trovato il breve documento di Tue Tjur "Coefficienti di determinazione nei modelli di regressione logistica - Una nuova proposta: il coefficiente di discriminazione" (2009, The American Statistician ) su varie proposte per un coefficiente di determinazione nei modelli logistici abbastanza illuminante. Fa un buon lavoro mettendo in evidenza pro e contro - e ovviamente offre una nuova definizione. Altamente raccomandato (anche se non ho preferito me stesso).

Stavo anche per dire "nessuno dei due", quindi ho votato a favore della risposta di Whuber.

Oltre a criticare R ^ 2, Hosmer e Lemeshow hanno proposto una misura alternativa di bontà di adattamento per la regressione logistica che a volte è utile. Questo si basa sulla divisione dei dati in (diciamo) 10 gruppi di uguale dimensione (o il più vicino possibile) ordinando sulla probabilità prevista (o equivalentemente, il predittore lineare), quindi confrontando il numero di risposte positive osservate con attese in ciascun gruppo ed eseguendo un test chi-quadrato. Questo "test di bontà di adattamento di Hosmer-Lemeshow" è implementato nella maggior parte dei pacchetti software statistici.

Preferirei Nagelkerke poiché questo modello raggiunge 1 quando il modello si adatta perfettamente, dando al lettore la sensazione di quanto il modello sia lontano dalla perfetta vestibilità. Il Cox & Shell non raggiunge 1 per adattarsi perfettamente al modello e quindi interpretare un valore di 0,09 è un po 'più difficile. Vedi questo URL per ulteriori informazioni su Pseudo RSquared per una spiegazione di vari tipi di accoppiamenti .

Nonostante gli argomenti contro l'uso di pseudo-r-quadrati, alcune persone vorranno per vari motivi continuare a usarli almeno in determinati momenti. Quello che ho interiorizzato dalle mie letture (e al momento mi dispiace non poter fornire citazioni) è quello

• se sia C&S che Nag. sono inferiori a 0,5, C&S sarà un indicatore migliore;
  se sono entrambi sopra 0,5, Nag. volontà; e
  se si trovano a cavallo di 0,5, punt.

Inoltre, una formula i cui risultati spesso cadono tra questi due, menzionata da Scott Menard in Applied Logistic Regression Analysis (Sage), è

[-2LL0 - (-2LL1)]/-2LL0.

Questo è indicato come "L" nella tabella seguente.