Come derivare lo stimatore meno quadrato per la regressione lineare multipla?

30

Nel caso di regressione lineare semplice , puoi derivare lo stimatore meno quadrato tale che non devi conoscere per stimare $y=\beta_0+\beta_1x$ $\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ $\hat\beta_0$ $\hat\beta_1$

Supponiamo di avere , come posso derivare senza stimare ? o non è possibile? $y=\beta_1x_1+\beta_2x_2$ $\hat\beta_1$ $\hat\beta_2$

— Sabre CN
fonte

1

È possibile omettere una delle variabili e ottenere comunque una stima imparziale dell'altra se sono indipendenti.

— david25272

51

La derivazione in notazione matriciale

A partire da , che è davvero lo stesso di $y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

tutto si riduce a minimizzare $e'e$ :

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Quindi minimizzare $e'e'$ ci dà:

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

$min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Un'ultima cosa matematica, la condizione del secondo ordine per un minimo richiede che la matrice sia definita positiva. Questo requisito è soddisfatto nel caso in cui abbia il grado completo. $X'X$ $X$

La derivazione più accurata che attraversa tutte le fasi di maggiore approfondimento è disponibile all'indirizzo http://economictheoryblog.com/2015/02/19/ols_estimator/

— Andreas Dibiasi
fonte

3

Questa derivazione è esattamente ciò che stavo cercando. NESSUN PASSO SALTO. Sorprendente quanto sia difficile trovarlo.

— javadba,

1

Nell'equazione della matrice, il secondo non dovrebbe *essere un +? Inoltre, non dovrebbe essere anziché per far corrispondere le dimensioni?

b_{K}

$b_K$

b_{N}

$b_N$

— Alexis Olson,

Alexis Olson, hai ragione! Ho modificato la mia risposta.

— Andreas Dibiasi,

13

È possibile stimare solo un coefficiente in una regressione multipla senza stimare gli altri.

La stima di si ottiene rimuovendo gli effetti di dalle altre variabili e quindi regredendo i residui di rispetto ai residui di . Questo è spiegato e illustrato Come si controlla esattamente per altre variabili? e Come normalizzare (a) coefficiente di regressione? . La bellezza di questo approccio è che non richiede alcun calcolo, nessuna algebra lineare, può essere visualizzato usando solo geometria bidimensionale, è numericamente stabile e sfrutta solo un'idea fondamentale di regressione multipla: quella di eliminare (o "controllare per" ) gli effetti di una singola variabile. $\beta_1$ $x_2$ $y$ $x_1$

Nel caso presente, la regressione multipla può essere eseguita utilizzando tre passaggi di regressione ordinaria:

Regress su (senza un termine costante!). Lascia che l'adattamento sia . La stima è Pertanto i residui sono Dal punto di vista geometrico, è ciò che resta di dopo la sottrazione della sua proiezione su . $y$ $x_2$ $y = \alpha_{y,2}x_2 + \delta$
$α_{y, 2} = \frac{\sum_{i} y_{i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$ $δ = y - α_{y, 2} x_{2} .$ $\delta = y - \alpha_{y,2}x_2.$ $\delta$ $y$ $x_2$
Registra su (senza un termine costante). Lascia che l'adattamento sia . La stima èI residui sonoDal punto di vista geometrico, è ciò che resta di dopo la sottrazione della sua proiezione su . $x_1$ $x_2$ $x_1 = \alpha_{1,2}x_2 + \gamma$
$α_{1, 2} = \frac{\sum_{i} x_{1 i} x_{2 i}}{\sum_{i} x_{2 i}^{2}} .$ $\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$ $γ = x_{1} - α_{1, 2} x_{2} .$ $\gamma = x_1 - \alpha_{1,2}x_2.$ $\gamma$ $x_1$ $x_2$
Regress on (senza un termine costante). La stima èL'adattamento sarà . Geometricamente, è il componente di (che rappresenta con eliminato) nella direzione (che rappresenta con eliminato). $\delta$ $\gamma$
${\hat{β}}_{1} = \frac{\sum_{i} δ_{i} γ_{i}}{\sum_{i} γ_{i}^{2}} .$ $\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$ $\delta = \hat\beta_1 \gamma + \varepsilon$ $\hat\beta_1$ $\delta$ $y$ $x_2$ $\gamma$ $x_1$ $x_2$

Si noti che non è stato stimato. $\beta_2$ Può essere facilmente recuperato da ciò che è stato ottenuto finora (proprio come nel caso di regressione ordinaria si ottiene facilmente dalla stima della pendenza ). I sono i residui per la regressione bivariata di su e . $\hat\beta_0$ $\hat\beta_1$ $\varepsilon$ $y$ $x_1$ $x_2$

Il parallelo con la regressione ordinaria è forte: i passaggi (1) e (2) sono analoghi alla sottrazione dei mezzi nella solita formula. Se lasci che sia un vettore di quelli, in realtà recupererai la solita formula. $x_2$

Questo generalizza in modo ovvio per regressione con più di due variabili: stimare , regresso e separatamente contro tutte le altre variabili, poi regredire i residui contro l'altro. A quel punto nessuno degli altri coefficienti nella regressione multipla di è stato ancora stimato. $\hat\beta_1$ $y$ $x_1$ $y$

— whuber
fonte

1

Ottima risposta, ecco un teorema generale en.wikipedia.org/wiki/…

— JohnK,

4

La stima dei minimi quadrati ordinari di è una funzione lineare della variabile di risposta $\beta$ . In poche parole, la stima OLS dei coefficienti, i , può essere scritta usando solo la variabile dipendente ( ) e le variabili indipendenti ( ). $\beta$ $Y_i$ $X_{ki}$

Per spiegare questo fatto per un modello di regressione generale, è necessario comprendere una piccola algebra lineare. Supponiamo di voler stimare i coefficienti in un modello di regressione multipla, $(\beta_0, \beta_1, ...,\beta_k)$

Y_{i} = β_{0} + β_{1} X_{1 i} + . . . + β_{k} X_{k i} + ϵ_{i}

$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$

dove per . La matrice di progettazione è una matrice cui ciascuna colonna contiene le osservazioni della variabile dipendente . Puoi trovare molte spiegazioni e derivazioni qui della formula utilizzata per calcolare i coefficienti stimati , che è $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ $i=1,...,n$ $\mathbf{X}$ $n\times k$ $n$ $k^{th}$ $X_k$ $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$

supponendo che esista l'inverso . I coefficienti stimati sono funzioni dei dati, non degli altri coefficienti stimati. $(\mathbf{X}^\prime \mathbf{X})^{-1}$

— caburke
fonte

Ho una domanda di follow-up, sul semplice caso di regressione, fai quindi diventa una matrice di e , quindi seguire la . Come devo riscrivere l'equazione nel mio caso?

y_{i} = β_{0} + β_{1} \bar{x} + β_{1} (x_{i} - \bar{x}) + e_{i}

$y_i=\beta_0+\beta_1\bar x+\beta_1(x_i-\bar x)+e_i$

X

$X$

(1, . . ., 1)

$(1,...,1)$

(x_{1} - \bar{x}, . . ., x_{n} - \bar{x})

$(x_1-\bar x,...,x_n-\bar x)$

\hat{β} = (X^{'} X)^{(} - 1) X^{'} Y

$\hat\beta=(X'X)^(-1)X'Y$

— Sabre CN,

E un'altra domanda, questo vale per i casi in cui e non sono lineari, ma il modello è ancora lineare? Ad esempio la curva di decadimento , posso sostituire l'esponente con e modo che diventi la mia domanda originale?

x_{1}

$x_1$

x_{2}

$x_2$

y = β_{1} e^{x_{1} t} + β_{2} e^{x_{2} t}

$y=\beta_1 e^{x_1t}+\beta_2 e^{x_2t}$

x_{1}^{'}

$x_1'$

x_{2}^{'}

$x_2'$

— Sabre CN,

Nel tuo primo commento, puoi centrare la variabile (sottrarre la sua media da essa) e usare quella che è la tua variabile indipendente. Cerca "regressione standardizzata". La formula che hai scritto in termini di matrici non è corretta. Per la tua seconda domanda, sì, puoi farlo, un modello lineare è lineare in , quindi fintanto che uguale a una combinazione lineare di stai bene.

β

$\beta$

y

$y$

β

$\beta$

— Caburke,

2

(+1). Ma non dovrebbe essere " matrix" invece di ?

n \times k

$n \times k$

k \times n

$k \times n$

— miura,

3

Una piccola nota minore sulla teoria vs. la pratica. Matematicamente possono essere stimati con la seguente formula: $\beta_0, \beta_1, \beta_2 ... \beta_n$

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\beta} = (X'X)^{-1} X'Y$

dove sono i dati di input originali e è la variabile che vogliamo stimare. Ciò deriva dalla minimizzazione dell'errore. Lo proverò prima di fare un piccolo punto pratico. $X$ $Y$

Sia l'errore che la regressione lineare fa al punto . Poi: $e_i$ $i$

e_{i} = y_{i} - \hat{y_{i}}

$e_i = y_i - \hat{y_i}$

L'errore al quadrato totale che commettiamo ora è:

\sum_{i = 1}^{n} e_{i}^{2} = \sum_{i = 1}^{n} (y_{i} - \hat{y_{i}})^{2}

$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$

Perché abbiamo un modello lineare sappiamo che:

\hat{y_{i}} = β_{0} + β_{1} x_{1, i} + β_{2} x_{2, i} + . . . + β_{n} x_{n, i}

$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$

Che può essere riscritto in notazione matrice come:

\hat{Y} = X β

$\hat{Y} = X\beta$

Lo sappiamo

\sum_{i = 1}^{n} e_{i}^{2} = E^{'} E

$\sum_{i=1}^n e_i^2 = E'E$

Vogliamo ridurre al minimo l'errore quadrato totale, in modo che la seguente espressione sia il più piccola possibile

E^{'} E = (Y - \hat{Y})^{'} (Y - \hat{Y})

$E'E = (Y-\hat{Y})' (Y-\hat{Y})$

Questo è uguale a:

E^{'} E = (Y - X β)^{'} (Y - X β)

$E'E = (Y-X\beta)' (Y-X\beta)$

La riscrittura può sembrare confusa ma deriva dall'algebra lineare. Si noti che le matrici si comportano in modo simile alle variabili quando le stiamo moltiplicando per alcuni aspetti.

Vogliamo trovare i valori di modo che questa espressione sia il più piccola possibile. Dovremo differenziare e impostare la derivata uguale a zero. Usiamo la regola della catena qui. $\beta$

\frac{d E^{'} E}{d β} = - 2 X^{'} Y + 2 X^{'} X β = 0

$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$

Questo da:

X^{'} X β = X^{'} Y

$X'X\beta = X'Y$

Tale che infine:

β = (X^{'} X)^{- 1} X^{'} Y

$\beta = (X'X)^{-1} X'Y$

Quindi matematicamente sembra che abbiamo trovato una soluzione. C'è un problema però, ed è che è molto difficile da calcolare se la matrice è molto grande. Ciò potrebbe dare problemi di precisione numerica. Un altro modo per trovare i valori ottimali per in questa situazione è utilizzare un metodo di discesa gradiente. La funzione che vogliamo ottimizzare è illimitata e convessa, quindi in pratica dovremmo utilizzare un metodo gradiente. $(X'X)^{-1}$ $X$ $\beta$

— Vincent Warmerdam
fonte

tranne per il fatto che non è necessario calcolare ...

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— user603

punto valido. si potrebbe anche usare il processo gram schmidt, ma volevo solo notare che trovare i valori ottimali per il vettore può anche essere fatto numericamente a causa della convessità.

β

$\beta$

— Vincent Warmerdam,

2

Una derivazione semplice può essere fatta semplicemente usando l'interpretazione geometrica di LR.

Regressione lineare può essere interpretata come la proiezione di sullo spazio colonna . Così, l'errore, è ortogonale allo spazio colonna . $Y$ $X$ $\hat{\epsilon}$ $X$

Pertanto, il prodotto interno tra e l'errore deve essere 0, ovvero $X'$

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Ciò implica che,

$(X'X)^{-1}X'y = \hat{\beta}$ .

Ora lo stesso può essere fatto da:

(1) Proiettando su (errore ), , $Y$ $X_2$ $\delta = Y-X_2 \hat{D}$ $\hat{D} = (X_2'X_2)^{-1}X_2'y$

(2) Proiettando su (errore ), , $X_1$ $X_2$ $\gamma = X_1 - X_2 \hat{G}$ $\hat{G} = (X_1'X_1)^{-1}X_1X_2$

e infine,

(3) Proiettando su , $\delta$ $\gamma$ $\hat{\beta}_1$

— Dnaiel
fonte