Perché non possiamo usare

Immagina di avere un modello di regressione lineare con variabile dipendente . Troviamo il suo . Ora facciamo un'altra regressione, ma questa volta su , e allo stesso modo troviamo la sua . Mi è stato detto che non posso confrontare entrambi per vedere quale modello è più adatto. Perché? La ragione che mi è stata data era che avremmo confrontato la variabilità di diverse quantità (diverse variabili dipendenti). Non sono sicuro che questo dovrebbe essere un motivo sufficiente per questo.$y$$R^2_y$$\log(y)$$R^2_{\log(y)}$$R^2$

C'è anche un modo per formalizzare questo?

Qualsiasi aiuto sarebbe apprezzato.

È una buona domanda, perché "quantità diverse" non sembrano essere una spiegazione.

Ci sono due motivi importanti per diffidare dell'uso di per confrontare questi modelli: è troppo grezzo ( non valuta davvero la bontà dell'adattamento ) e sarà inappropriato per almeno uno dei modelli. Questa risposta affronta quel secondo problema.$R^2$

---

Trattamento teorico

R 2$R^2$ confronta la varianza dei residui del modello con la varianza delle risposte. La varianza è una deviazione additiva quadrata media da un adattamento. Pertanto, possiamo comprendere come confronto tra due modelli di risposta . $R^2$$y$

Il modello "base" è

$$y_i = \mu + \delta_i\tag{1}$$

dove è un parametro (la risposta media teorica) e sono "errori" casuali indipendenti, ciascuno con media zero e una varianza comune di .δ i τ $\mu$$\delta_i$$\tau^2$

Il modello di regressione lineare introduce i vettori come variabili esplicative:$x_i$

$$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$$

Il numero e il vettore sono i parametri (l'intercetta e le "pendenze"). Di nuovo ε i sono errori casuali indipendenti, ciascuno con media zero e varianza comune σ 2 .$\beta_0$$\beta$$\varepsilon_i$$\sigma^2$

stima la riduzione della varianza, τ 2 - σ 2 , rispetto alla varianza originale τ 2 .$R^2$$\tau^2-\sigma^2$$\tau^2$

Quando si prendono i logaritmi e si usano i minimi quadrati per adattarsi al modello , si sta implicitamente confrontando una relazione del modulo

$$\log(y_i) = \nu + \zeta_i\tag{1a}$$

a uno dei moduli

$$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$$

Questi sono proprio come i modelli e ( 2 ) ma con le risposte del registro. Tuttavia, non equivalgono ai primi due modelli. Ad esempio, esponenziando entrambi i lati di ( 2 a ) darebbe$(1)$$(2)$$(2\text{a})$

$$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$$

I termini di errore ora moltiplicano la relazione sottostante y i = exp ( γ 0 + x i γ ) . Di conseguenza, le varianze delle risposte sono$\exp(\eta_i)$$y_i = \exp(\gamma_0 + x_i\gamma)$

$$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$$

Le varianze dipendono dalla . $x_i$ Questo non è il modello , che suppone che le varianze siano tutte uguali a una costante σ 2 .$(2)$$\sigma^2$

Di solito, solo una di queste serie di modelli può essere una descrizione ragionevole dei dati. Applicare il secondo set e ( 2 a ) quando il primo set ( 1 ) e ( 2 ) è un buon modello, o il primo quando il secondo è buono, equivale a lavorare con un set di dati eteroscedastico non lineare, che pertanto dovrebbe adattarsi male a una regressione lineare. Quando una di queste situazioni è il caso, potremmo aspettarci che il modello migliore mostri l' R 2 più grande . Tuttavia, che dire se non è nemmeno il caso? Possiamo ancora aspettarci il più grande$(1\text{a})$$(2\text{a})$$(1)$$(2)$$R^2$ per aiutarci a identificare il modello migliore?$R^2$

Analisi

In un certo senso questa non è una buona domanda, perché se nessuno dei due modelli è appropriato, dovremmo trovare un terzo modello. Tuttavia, il problema che ci attende riguarda l'utilità di nell'aiutarci a prendere questa decisione. Inoltre, molte persone pensare prima la forma del rapporto tra x ed y --is è lineare, è esso logaritmica, è qualcos'altro - senza preoccuparsi sulle caratteristiche degli errori di regressione ε i o η i . Consideriamo quindi una situazione in cui il nostro modello ottiene la relazione giusta ma ha torto sulla sua struttura di errore, o viceversa .$R^2$$x$$y$$\varepsilon_i$$\eta_i$

Tale modello (che si verifica comunemente) è un minimo quadrato adatto a una relazione esponenziale,

$$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$$

Ora il logaritmo di è una funzione lineare di x , come in ( 2 a ) , ma i termini di errore θ i sono additivi , come in ( 2 ) . In questi casi R 2 noi potrebbe indurre in errore nella scelta del modello con il rapporto sbagliato tra x e y .$y$$x$$(2\text{a})$$\theta_i$$(2)$$R^2$$x$$y$

Ecco un'illustrazione del modello . Ci sono 300 osservazioni per x i (un vettore vettoriale equamente distribuito tra 1.0 e 1.6 ). Il pannello di sinistra mostra i dati originali ( x , y ) mentre il pannello di destra mostra i dati trasformati ( x , log ( y ) ) . Le linee rosse tratteggiate tracciano la vera relazione sottostante, mentre le linee blu continue mostrano gli accoppiamenti dei minimi quadrati. I dati e la vera relazione sono gli stessi in entrambi i pannelli: solo i modelli e le loro misure differiscono.$(3)$$300$$x_i$$1.0$$1.6$$(x,y)$$(x,\log(y))$

$R^2$$0.70$$0.56$$R^2$$R^2$$0.70$

---

$\log(y)$$(3)$