Spiegazione intuitiva del termine nella varianza dello stimatore del minimo quadrato

18

Se è al completo, esiste l'inverso di e otteniamo la stima dei minimi quadrati: e $X$ $X^TX$

\hat{β} = (X^{T} X)^{- 1} X Y

$\hat\beta = (X^TX)^{-1}XY$

Var (\hat{β}) = σ^{2} (X^{T} X)^{- 1}

$\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1}$

Come possiamo spiegare intuitivamente nella formula della varianza? La tecnica di derivazione è chiara per me. $(X^TX)^{-1}$

regression variance least-squares

— Daniel Yefimov
fonte

3

Potresti voler aggiungere una nota per sottolineare che la formula che hai dichiarato per la matrice varianza-covarianza di - supponendo che sia stimata da OLS - è corretta solo se il le condizioni del teorema di Gauss-Markov sono soddisfatte e, in particolare, solo se la matrice varianza-covarianza dei termini di errore è data da , dove è la matrice di identità e è il numero di file di (e ). La formula che hai fornito non è corretta per il caso più generale di errori non sferici.

\hat{β}

$\hat{\beta}$

\hat{β}

$\hat{\beta}$

σ^{2} I_{n}

$\sigma^2 I_n$

I_{n}

$I_n$

n \times n

$n\times n$

n

$n$

X

$X$

Y

$Y$

— Mico,

13

Considera una regressione semplice senza un termine costante e in cui il singolo regressore è centrato sulla sua media campionaria. Quindi è ( volte) la sua varianza campione e sua ricirpocal. Quindi maggiore è la varianza = variabilità nel regressore, minore è la varianza dello stimatore del coefficiente: più variabilità abbiamo nella variabile esplicativa, più accuratamente possiamo stimare il coefficiente sconosciuto. $X'X$ $n$ $(X'X)^{-1}$

Perché? Perché più un regressore è variabile, più informazioni contiene. Quando i regressori sono molti, questo si generalizza all'inverso della loro matrice varianza-covarianza, che tiene conto anche della co-variabilità dei regressori. Nel caso estremo in cui è diagonale, la precisione per ciascun coefficiente stimato dipende solo dalla varianza / variabilità del regressore associato (data la varianza del termine di errore). $X'X$

— Alecos Papadopoulos
fonte

Potresti mettere in relazione questo argomento con il fatto che l'inverso della matrice varianza-covarianza produce la correlazione parziale ?

— Heisenberg,

5

Un modo semplice di visualizzare è come l'analogo della matrice (multivariata) di , che è la varianza del coefficiente di pendenza nella semplice regressione OLS. Si può anche ottenere per quella varianza omettendo l'intercetta nel modello, cioè eseguendo la regressione attraverso l'origine. $\sigma^2 \left(\mathbf{X}^{T} \mathbf{X} \right)^{-1}$ $\frac{\sigma^2}{\sum_{i=1}^n \left(X_i-\bar{X}\right)^2}$ $\frac{\sigma^2}{\sum_{i=1}^n X_i^2}$

Da una di queste formule si può vedere che una maggiore variabilità della variabile predittore porterà in generale a una stima più precisa del suo coefficiente. Questa è l'idea spesso sfruttata nella progettazione di esperimenti, dove scegliendo i valori per i predittori (non casuali), si cerca di determinare il determinante di più grande possibile, il determinante è una misura della variabilità. $\left(\mathbf{X}^{T} \mathbf{X} \right)$

— Jöhnk
fonte

2

La trasformazione lineare della variabile casuale gaussiana aiuta? Usando la regola che if, , quindi . $x \sim \mathcal{N}(\mu,\Sigma)$ $Ax + b ~ \sim \mathcal{N}(A\mu + b,A^T\Sigma A)$

Supponendo che sia il modello sottostante e . $Y = X\beta + \epsilon$ $\epsilon \sim \mathcal{N}(0, \sigma^2)$

∴ Y \sim N (X β, σ^{2}) X^{T} Y \sim N (X^{T} X β, X σ^{2} X^{T}) (X^{T} X)^{- 1} X^{T} Y \sim N [β, (X^{T} X)^{- 1} σ^{2}]

$\therefore Y \sim \mathcal{N}(X\beta,\sigma^2)\\ X^TY \sim \mathcal{N}(X^TX\beta, X\sigma^2 X^T)\\ (X^TX)^{-1}X^TY \sim \mathcal{N}[\beta,(X^TX)^{-1} \sigma^2]$

Quindi è solo una matrice di scala complicato che trasforma la distribuzione di . $(X^TX)^{-1}X^T$ $Y$

Spero sia stato utile.

— kedarps
fonte

Nulla nella derivazione dello stimatore OLS e nella sua varianza richiede la normalità dei termini di errore. Tutto ciò che serve è ed . (Naturalmente, la normalità è tenuto a dimostrare che OLS raggiunge il Cramer-Rao il limite inferiore, ma non è questo che invio del PO è di circa, è vero?)

E (ε) = 0

$E(\varepsilon)=0$

E (ε ε^{T}) = σ^{2} I_{n}

$E(\varepsilon\varepsilon^T)=\sigma^2 I_n$

— Mico

2

Adotterò un approccio diverso per sviluppare l' intuizione che sta alla base della formula . Quando si sviluppa l'intuizione per il modello di regressione multipla, è utile considerare il modello di regressione lineare bivariata, vale a dire. , è spesso chiamato il contributo deterministico a e è chiamato il contributo stocastico. Espresso in termini di deviazioni dai mezzi di esempio , questo modello può anche essere scritto come $\text{Var}\,\hat{\beta}=\sigma^2 (X'X)^{-1}$

y_{i} = α + β x_{i} + ε_{i}, i = 1, \dots, n .

$y_i=\alpha+\beta x_i + \varepsilon_i, \quad i=1,\ldots,n.$

α + β x_{i}

$\alpha+\beta x_i$

y_{i}

$y_i$

ε_{i}

$\varepsilon_i$

(\bar{x}, \bar{y})

$(\bar{x},\bar{y})$

(y_{i} - \bar{y}) = β (x_{i} - \bar{x}) + (ε_{i} - \bar{ε}), i = 1, \dots, n .

$(y_i-\bar{y}) = \beta(x_i-\bar{x})+(\varepsilon_i-\bar{\varepsilon}), \quad i=1,\ldots,n.$

Per aiutare a sviluppare l'intuizione, assumeremo che i presupposti di Gauss-Markov più semplici siano soddisfatti: nonstochastic, per tutti , e per tutti . Come già sapete molto bene, queste condizioni garantiscono che dove è la varianza di esempio di . In parole, questa formula fa tre affermazioni: "La varianza di è inversamente proporzionale alla dimensione del campione , è direttamente proporzionale alla varianza di $x_i$ $\sum_{i=1}^n(x_i-\bar{x})^2>0$ $n$ $\varepsilon_i \sim \text{iid}(0,\sigma^2)$ $i=1,\ldots,n$

Var \hat{β} = \frac{1}{n} σ^{2} (Var x)^{- 1},

$\text{Var}\,\hat{\beta}=\tfrac{1}{n}\sigma^2(\text{Var}\,x)^{-1}\text{,}$

Var x

$\text{Var}\,x$

x

$x$

\hat{β}

$\hat{\beta}$

n

$n$

ε

$\varepsilon$ , ed è inversamente proporzionale alla varianza di . "

x

$x$

Perché raddoppiare la dimensione del campione, ceteris paribus , dovrebbe dimezzare la varianza di ? Questo risultato è intimamente collegato al presupposto iid applicato a : poiché si presume che i singoli errori siano iid, ogni osservazione dovrebbe essere trattata ex ante in modo altrettanto informativo. E, raddoppiando il numero di osservazioni raddoppia la quantità di informazioni sui parametri che descrivono il (lineare) assunto rapporto tra ed $\hat{\beta}$ $\varepsilon$ $x$ $y$ . Avere il doppio delle informazioni dimezza l'incertezza sui parametri. Allo stesso modo, dovrebbe essere semplice sviluppare la propria intuizione sul perché il raddoppio di raddoppia anche la varianza di . $\sigma^2$ $\hat{\beta}$

Passiamo, quindi, alla tua domanda principale, che riguarda lo sviluppo dell'intuizione per l'affermazione che la varianza di è inversamente proporzionale alla varianza di . Per formalizzare le nozioni, consideriamo da ora in poi due modelli di regressione lineare bivariata separati, chiamati Model e Model . Supporremo che entrambi i modelli soddisfino i presupposti della forma più semplice del teorema di Gauss-Markov e che i modelli condividano gli stessi identici valori di , , e . Sotto questi presupposti, è facile dimostrarlo $\hat{\beta}$ $x$ $(1)$ $(2)$ $\alpha$ $\beta$ $n$ $\sigma^2$ $\text{E}\,\hat{\beta}{}^{(1)}=\text{E}\,\hat{\beta}{}^{(2)}=\beta$ ; in parole, entrambi gli stimatori sono imparziali. Fondamentalmente, supponiamo anche che considerando , . Senza perdita di generalità, supponiamo che . Quale stimatore di avrà la varianza minore? In altre parole, o saranno più vicini, in media , a ? Dalla discussione precedente, abbiamo $\bar{x}^{(1)}=\bar{x}^{(2)}=\bar{x}$ $\text{Var}\,x^{(1)}\ne \text{Var}\,x^{(2)}$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\hat{\beta}$ $\hat{\beta}{}^{(1)}$ $\hat{\beta}{}^{(2)}$ $\beta$ $\text{Var}\,\hat{\beta} {}^{(k)} =\tfrac{1}{n}\sigma^2/\text{Var}\,x{}^{(k)})$ per . Poiché per ipotesi, ne consegue che . Qual è allora l'intuizione dietro questo risultato? $k=1,2$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\text{Var}\,\hat{\beta}{}^{(1)} <\text{Var}\,\hat{\beta}{}^{(2)}$

Perché ipotizzando , in media ogni sarà più lontano da rispetto al caso, in media, per . Indichiamo la differenza assoluta media attesa tra e di . Il presupposto che implica che . Il modello di regressione lineare bivariata, espresso in deviazioni dalle , afferma che per il modello e per il modello $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $x_i^{(1)}$ $\bar{x}$ $x_i^{(2)}$ $x_i$ $\bar{x}$ $d_x$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $d_x^{(1)} >d_x^{(2)}$ $d_y = \beta d_x^{(1)}$ $(1)$ $d_y = \beta d_x^{(2)}$ $(2)$ . Se , ciò significa che la componente deterministica di Model , , ha un'influenza maggiore su rispetto alla componente deterministica di Model , . Ricordiamo che si presume che entrambi i modelli soddisfino i presupposti di Gauss-Markov, che le varianze di errore siano le stesse in entrambi i modelli e che . Poiché il modello fornisce più informazioni sul contributo della componente deterministica di rispetto al modello , ne consegue che la precisione $\beta\ne0$ $(1)$ $\beta d_x^{(1)}$ $d_y$ $(2)$ $\beta d_x^{(2)}$ $\beta^{(1)}=\beta^{(2)}=\beta$ $(1)$ $y$ $(2)$ con il quale è possibile stimare il contributo deterministico è maggiore per il Modello rispetto al Modello . Il contrario di una maggiore precisione è una varianza inferiore della stima puntuale di . $(1)$ $(2)$ $\beta$

È ragionevolmente semplice generalizzare l'intuizione ottenuta dallo studio del modello di regressione semplice al modello di regressione lineare multipla generale. La principale complicazione è che invece di confrontare le varianze scalari, è necessario confrontare la "dimensione" delle matrici varianza-covarianza. Avere una buona conoscenza pratica di determinanti, tracce ed autovalori di matrici simmetriche reali è molto utile a questo punto :-)

— Mico
fonte

1

Supponiamo di avere osservazioni (o dimensioni del campione) e parametri . $n$ $p$

La matrice di covarianza dei parametri stimati ecc. È una rappresentazione dell'accuratezza dei parametri stimati. $\operatorname{Var}(\hat{\beta})$ $\hat{\beta}_1,\hat{\beta}_2$

Se in un mondo ideale i dati potrebbero essere perfettamente descritti dal modello, allora il rumore sarà . Ora, le voci diagonali di corrispondono a ecc. La formula derivata per la varianza concorda con l'intuizione che se il rumore è più basso, le stime saranno più accurate. $\sigma^2= 0$ $\operatorname{Var}(\hat{\beta})$ $\operatorname{Var}(\hat{\beta_1}),\operatorname{Var}(\hat{\beta_2})$

Inoltre, con l'aumentare del numero di misurazioni, la varianza dei parametri stimati diminuirà. Pertanto, nel complesso il valore assoluto delle voci di sarà maggiore, poiché il numero di colonne di è e il numero di righe di è , e ogni voce di è una somma di coppie di prodotti. Il valore assoluto delle voci dell'inverso sarà inferiore. $X^TX$ $X^T$ $n$ $X$ $n$ $X^TX$ $n$ $(X^TX)^{-1}$

Quindi, anche se c'è molto rumore, possiamo comunque raggiungere buone stime dei parametri se aumentiamo la dimensione del campione . $\hat{\beta_i}$ $n$

Spero che questo possa essere d'aiuto.

Riferimento: Sezione 7.3 sui minimi quadrati: Cosentino, Carlo e Declan Bates. Controllo feedback in biologia dei sistemi. Crc Press, 2011.

— Dilly Minch
fonte

1

Questo si basa sulla risposta di @Alecos Papadopuolos.

Ricorda che il risultato di una regressione dei minimi quadrati non dipende dalle unità di misura delle tue variabili. Supponiamo che la tua variabile X sia una misura di lunghezza, espressa in pollici. Quindi riscalare X, diciamo moltiplicando per 2,54 per cambiare l'unità in centimetri, non influenza materialmente le cose. Se si rimonta il modello, la nuova stima di regressione sarà la vecchia stima divisa per 2,54.

La matrice è la varianza di X, e quindi riflette la scala di misurazione di X. Se cambi la scala, devi riflettere questo nella tua stima di , e questo viene fatto moltiplicando per l' inverso di . $X'X$ $\beta$ $X'X$

— Hong Ooi
fonte