Perché la somma dei residui quadrati non aumenta quando si aggiunge una variabile esplicativa?

9

Nel mio libro di testo econometrico (Introduzione all'Ecetretrica) riguardante OLS, l'autore scrive: "SSR deve cadere quando viene aggiunta un'altra variabile esplicativa". Perchè

— Eric Xu
fonte

1

In sostanza perché se non c'è alcuna relazione lineare con la variabile successiva qualunque (0 correlazione parziale del campione), l'SSR rimarrà lo stesso. Se esiste qualche relazione, è possibile utilizzare la variabile successiva per ridurre SSR.

— Glen_b -Restate Monica

3

L'affermazione è corretta nello spirito ma non del tutto vera: SSR rimarrà lo stesso (e non cadrà) quando si aggiunge una variabile che è una combinazione lineare delle variabili esistenti. Dopotutto, ignorando la nuova variabile è possibile ottenere lo stesso valore minimo di SSR ottenuto con la vecchia variabile, quindi l'aggiunta di una nuova variabile non può mai peggiorare le cose.

— whuber

Ho risposto a una domanda simile qui: stats.stackexchange.com/questions/306267/… . Potresti trovarlo utile.

— Josh,

18

Supponendo che tu abbia un modello di regressione lineare, per una semplice notazione considera prima una e poi due covariabili. Questo generalizza a due serie di covariabili. Il primo modello è il secondo modello è Questo viene risolto minimizzando la somma dei residui quadrati, per il modello uno vogliamo minimizzare e per il modello due che vuoi minimizza . Supponiamo che tu abbia trovato gli stimatori corretti per il modello 1, quindi puoi ottenere gli stessi quadrati di somma residua esatti nel modello due scegliendo gli stessi valori per

I : y_{i} = β_{0} + β_{1} x_{1 i} + ϵ_{i}

$I \colon y_i=\beta_0 + \beta_1 x_{1i}+\epsilon_{i}$

I I : y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + ϵ_{i}

$II \colon y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \epsilon_i$

{SSR}_{1} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i})^{2}

$\text{SSR}_1 = \sum_i (y_i-\beta_0-\beta_1 x_{1i})^2$

{SSR}_{2} = \sum_{i} (y_{i} - β_{0} - β_{1} x_{1 i} - β_{2} x_{2 i})^{2}

$\text{SSR}_2 = \sum_i (y_i-\beta_0-\beta_1 x_{1i}-\beta_2 x_{2i})^2$

β_{0}, β_{1}

$\beta_0, \beta_1$ e lasciando . Ora puoi trovare, eventualmente, un residuo di quadrati di somma inferiore cercando un valore migliore per .

β_{2} = 0

$\beta_2=0$

β_{2}

$\beta_2$

Per riassumere, i modelli sono nidificati, nel senso che tutto ciò che possiamo modellare con il modello 1 può essere abbinato al modello due, il modello due è più generale del modello 1. Quindi, nell'ottimizzazione, abbiamo una maggiore libertà con il modello due, quindi possiamo trova sempre una soluzione migliore.

Questo non ha davvero nulla a che fare con le statistiche ma è un fatto generale sull'ottimizzazione.

— kjetil b halvorsen
fonte

1

Non ho pensato in questo modo, davvero utile!

— Eric Xu,

1

SSR è una misura della discrepanza tra i dati e un modello di stima.

Se hai la possibilità di prendere in considerazione un'altra variabile, quindi se questa variabile contiene più informazioni, l'adattamento sarebbe naturalmente più stretto, il che significa un SSR inferiore.

— Cloud Skywalker
fonte