Interpretazione semplice dell'output di regressione lineare

Ho eseguito una semplice regressione lineare del log naturale di 2 variabili per determinare se sono correlate. Il mio output è questo:

R^2 = 0.0893

slope = 0.851

p < 0.001

Sono confuso. Guardando il valore , direi che le due variabili non sono correlate, poiché è così vicino a . Tuttavia, la pendenza della linea di regressione è quasi (nonostante sembri quasi orizzontale nella trama), e il valore p indica che la regressione è molto significativa.$R^2$$0$$1$

Questo significa che le due variabili sono altamente correlate? In tal caso, cosa indica il valore ?$R^2$

Dovrei aggiungere che la statistica di Durbin-Watson è stata testata nel mio software e non ha respinto l'ipotesi nulla (equivaleva a ). Ho pensato che questo testato per l'indipendenza tra le variabili. In questo caso, mi aspetto che le variabili dipendano, poiché sono misurazioni di un singolo uccello. Sto facendo questa regressione come parte di un metodo pubblicato per determinare le condizioni del corpo di un individuo, quindi ho pensato che usare una regressione in questo modo avesse senso. Tuttavia, dati questi risultati, sto pensando che forse per questi uccelli, questo metodo non è adatto. Sembra una conclusione ragionevole?$1.357$$2$$2$

Il valore stimato della pendenza non indica da solo la forza della relazione. L'intensità della relazione dipende dalla dimensione della varianza dell'errore e dall'intervallo del predittore. Inoltre, un significativo valore non ti dice necessariamente che esiste una relazione forte; il valore p sta semplicemente verificando se la pendenza è esattamente 0. Per una dimensione del campione sufficientemente grande, anche piccole deviazioni da tale ipotesi (ad esempio quelle non di importanza pratica) produrranno un valore p significativo .$p$$p$$p$

Delle tre quantità presentate, , il coefficiente di determinazione , fornisce la massima indicazione della forza della relazione. Nel tuo caso, R 2 = .089 , significa che l' 8,9 % della variazione nella variabile di risposta può essere spiegata una relazione lineare con il predittore. Ciò che costituisce una "grande" R 2 dipende dalla disciplina. Ad esempio, nelle scienze sociali R 2 = .2 potrebbe essere "grande" ma in ambienti controllati come un'impostazione di fabbrica, R 2 > $R^2$$R^{2} = .089$$8.9\%$$R^2$$R^2 = .2$$R^2 > .9$potrebbe essere richiesto di dire che esiste una relazione "forte". Nella maggior parte dei casi è un R 2 molto piccolo , quindi la tua conclusione che esiste una relazione lineare debole è probabilmente ragionevole.$.089$$R^2$

La ti dice quanta variazione della variabile dipendente è spiegato da un modello. Tuttavia, si può interpretare l' R 2 e la correlazione tra i valori originali della variabile dipendente e i valori adattati. L'esatta interpretazione e derivazione del coefficiente di determinazione R 2 può essere trovata qui .$R^{2}$$R^{2}$$R^{2}$

La prova che il coefficiente di determinazione è l'equivalente del coefficiente di correlazione di Pearson quadrato tra i valori osservati ed i valori adattati y i può essere trovato qui .$y_{i}$$\hat{y}_{i}$

L' o coefficiente di determinazione indica la forza del tuo modello spiegare la variabile dipendente. Nel tuo caso, R 2 = 0,089 . Ciò che il tuo modello è in grado di spiegare l'8,9% della variazione della tua variabile dipendente. Oppure, il coefficiente di correlazione tra il y i ed i valori muro y i è 0,089. Ciò che costituisce una buona R 2 dipende dalla disciplina.$R^{2}$$R^{2}=0.089$$y_{i}$$\hat{y}_{i}$$R^{2}$

Infine, fino all'ultima parte della tua domanda. Non è possibile ottenere il test di Durbin-Watson per dire qualcosa sulla correlazione tra variabili dipendenti e indipendenti. Il test di Durbin-Watson verifica la correlazione seriale. Viene condotto per esaminare se i termini dell'errore sono reciprocamente correlati.

Il valore indica quanta variazione dei dati è spiegata dal modello montato.$R^2$

Il basso valore di nel tuo studio suggerisce che i tuoi dati sono probabilmente diffusi ampiamente lungo la linea di regressione, il che significa che il modello di regressione può solo spiegare (molto poco) l'8,9% della variazione dei dati.$R^2$

Hai controllato per vedere se un modello lineare è appropriato? Dai un'occhiata alla distribuzione dei tuoi residui, in quanto puoi usarli per valutare l'adattamento del modello ai tuoi dati. Idealmente, i tuoi residui non dovrebbero mostrare una relazione con i tuoi valori e, in tal caso, potresti voler pensare di riscalare le tue variabili in modo adeguato o adattando un modello più appropriato.$x$

$R^2$$y$$x$$x$$y$$R^2$

In breve, la pendenza non è un buon indicatore di "adattamento" del modello a meno che non si sia certi che le scale delle variabili dipendenti e indipendenti debbano essere uguali tra loro.

Mi piacciono le risposte già fornite, ma permettetemi di completarle con un approccio diverso (e più ironico).

Supponiamo di raccogliere un sacco di osservazioni da 1000 persone a caso che cercano di scoprire se i pugni in faccia sono associati a mal di testa:

$\varepsilon$ contains all the omitted variables that produce headaches in the general population: stress, how contaminated your city is, lack of sleep, coffee consumption, etc.

For this regression, the $\beta_1$ might be very significant and very big, but the $R^2$ will be low. Why? For the vast majority of the population, headaches won't be explained much by punches in the face. In other words, most of the variation in the data (i.e. whether people have few or a lot of headaches) will be left unexplained if you only include punches in the face, but punches in the face are VERY important for headaches.

Graphically, this probably looks like a steep slope but with a very big variation around this slope.

@Macro ha avuto un'ottima risposta.

Il valore stimato della pendenza non indica da solo la forza della relazione. L'intensità della relazione dipende dalla dimensione della varianza dell'errore e dall'intervallo del predittore. Inoltre, un significativo valore pp non ti dice necessariamente che esiste una relazione forte; il valore pp sta semplicemente verificando se la pendenza è esattamente 0.

Voglio solo aggiungere un esempio numerico per mostrare come appare avere un caso OP descritto.

• Basso $R^2$
• Significativo sul valore p

• Pendio vicino a $1.0$

  set.seed(6)
  y=c(runif(100)*50,runif(100)*50+10)
  x=c(rep(1,100),rep(10,100))
  plot(x,y)
  
  fit=lm(y~x)
  summary(fit)
  abline(fit)
  
  
  > summary(lm(y~x))
  
  Call:
  lm(formula = y ~ x)
  
  Residuals:
     Min     1Q Median     3Q    Max 
  -24.68 -13.46  -0.87  14.21  25.14 
  
  Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
  (Intercept)  25.6575     1.7107  14.998  < 2e-16 ***
  x             0.9164     0.2407   3.807 0.000188 ***
  ---
  Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
  
  Residual standard error: 15.32 on 198 degrees of freedom
  Multiple R-squared:  0.0682,    Adjusted R-squared:  0.06349 
  F-statistic: 14.49 on 1 and 198 DF,  p-value: 0.0001877