Come scegliere tra le diverse formule rettificate ?

Ho in mente le formule rettificate R-quadrato proposte da:

• Ezekiel (1930), che credo sia quello attualmente utilizzato in SPSS.

  $$R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2)$$

• Olkin and Pratt (1958)

  $$R^2_{\rm unbiased} = 1 - \frac{(N-3)(1-R^2)}{(N-p-1)} - \frac{2(N-3)(1-R^2)^2}{(N-p-1)(N-p+1)}$$

In quali circostanze (se ce ne sono) dovrei preferire "aggiustato" a "imparziale" $R^2$ ?

Riferimenti

1. Ezekiel, M. (1930). Metodi di analisi di correlazione . John Wiley and Sons, New York.
2. Olkin I., Pratt JW (1958). Stima imparziale di alcuni coefficienti di correlazione. Annals of Mathematical Statistics , 29 (1), 201-211.

Senza voler prendermi il merito della risposta di @ttnphns, volevo spostare la risposta fuori dai commenti (soprattutto considerando che il link all'articolo era morto). La risposta di Matt Krause fornisce un'utile discussione della distinzione tra $R^2$ e $R^2_{adj}$ ma non discute la decisione di quale formula $R^2_{adj}$ utilizzare in un determinato caso.

Come discuterò in questa risposta , Yin e Fan (2001) forniscono una buona panoramica delle molte diverse formule per stimare la varianza della popolazione spiegate , che potrebbero potenzialmente essere etichettate come un tipo di aggiustato .R $\rho^2$$R^2$

Eseguono la simulazione per valutare quale di una vasta gamma di formule rettificate r-quadrato fornisce la migliore stima imparziale per diverse dimensioni del campione, e intercorrelazioni predittive. Suggeriscono che la formula di Pratt potrebbe essere una buona opzione, ma non credo che lo studio sia stato definitivo in materia.$\rho^2$

Aggiornamento: Raju et al (1997) notano che le formule aggiustate differiscono in base al fatto che siano progettate per stimare aggiustate ipotizzando predittori x fissi o casuali. In particolare, la formula di Ezekial è progettata per stimare nel contesto fixed-x, e le formule Olkin-Pratt e Pratt sono progettate per stimare nel contesto random-x. Non c'è molta differenza tra le formule Olkin-Pratt e Pratt. I presupposti di fixed-x si allineano con gli esperimenti pianificati, i presupposti di random-x si allineano quando si assume che i valori delle variabili predittive siano un campione di possibili valori, come è generalmente il caso negli studi osservazionali. Vedi questa risposta per ulteriori discussioniR 2 ρ 2 ρ $R^2$$R^2$$\rho^2$$\rho^2$. Inoltre, non c'è molta differenza tra i due tipi di formule poiché le dimensioni del campione diventano moderatamente grandi (vedi qui per una discussione sulla dimensione della differenza ).

Riepilogo delle regole del pollice

• Se supponi che le tue osservazioni per le variabili predittive siano un campione casuale di una popolazione e desideri stimare per l'intera popolazione di predittori e criteri (ovvero ipotesi random-x), usa la formula di Olkin-Pratt (o la formula di Pratt).$\rho^2$
• Se supponi che le tue osservazioni siano fisse o non desideri generalizzare oltre i livelli osservati del predittore, allora stima con la formula di Ezechiele.$\rho^2$
• Se si desidera conoscere la previsione fuori campione utilizzando l'equazione di regressione del campione, è necessario esaminare una qualche forma di procedura di convalida incrociata.

Riferimenti

• Raju, NS, Bilgic, R., Edwards, JE e Fleer, PF (1997). Revisione metodologica: stima della validità e della cross-validità della popolazione e uso di pesi uguali nella previsione. Misurazione psicologica applicata, 21 (4), 291-305.
• Yin, P., & Fan, X. (2001). Stima del restringimento di nella regressione multipla: un confronto tra diversi metodi analitici. The Journal of Experimental Education, 69 (2), 203-224. PDF$R^2$

La scelta di o adeguati dipende da quello che stai cercando di fare. In un contesto di regressione, regolare viene utilizzato come misura di bontà di adattamento per il modello. Tuttavia, immagina di confrontare diversi modelli con un numero diverso di parametri. A parità di condizioni, il modello con più parametri si adatterà più da vicino alla tua osservazione. Nel limite, potresti avere un modello con parametri per ogni punto dati tranne uno; questo ti darebbe un adattamento perfetto alle tue osservazioni, ma sarebbe inutile per una nuova previsione poiché catturerebbe sia il "segnale" sottostante che qualsiasi rumore associato. rettificato è un tentativo di risolvere questo problema regolandoR 2 R 2 R 2 R $R^2$$R^2$$R^2$$R^2$$R^2$ valore in base al numero di parametri nel modello.

Pertanto hanno scopi leggermente diversi. descrive in che misura diversi set di dati si adattano a un modello. Potresti scrivere qualcosa del tipo "Il modello sopra descritto prevede accuratamente le prestazioni della Parte A ( = 0,9), ma non il Widget B ( = 0,05) in condizioni di test standard." rettificato descrive come modelli diversi si adattano agli stessi dati (o dati simili). Ad esempio, "I risultati del questionario di breve e lunga durata hanno previsto ugualmente bene la spesa annuale del cliente (rettificato = 0,8 per entrambi)."$R^2$$r^2$$r^2$$R^2$$R^2$