I presupposti dei minimi quadrati

Supponiamo la seguente relazione lineare: , dove è la variabile dipendente, una singola variabile indipendente e il termine di errore. $Y_i = \beta_0 + \beta_1 X_i + u_i$ $Y_i$ $X_i$ $u_i$

Secondo Stock & Watson (Introduzione all'econometria; capitolo 4 ), il terzo presupposto dei minimi quadrati è che i quarti momenti di e sono diversi da zero e finiti . $X_i$ $u_i$ $(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)$

Ho tre domande:

Non capisco appieno il ruolo di questa ipotesi. OLS è di parte e incoerente se questo assunto non regge o abbiamo bisogno di questo assunto per deduzione?
Stock e Watson scrivono "questa ipotesi limita la probabilità di disegnare un'osservazione con valori estremamente grandi di o ". Tuttavia, la mia intuizione è che questa ipotesi è estrema. Siamo nei guai se abbiamo valori anomali di grandi dimensioni (tali che i secondi momenti sono grandi) ma se questi valori sono ancora limitati? A proposito: qual è la definizione sottostante un valore anomalo? $X_i$ $u_i$
Possiamo riformulare questo nel modo seguente: "La curtosi di e è zero e finita?" $X_i$ $u_i$

— laurea breve
fonte

Purtroppo non posso scrivere una risposta a tutti gli effetti ora, ma per rispondere alla tua domanda: 1, la coerenza OLS funziona a prescindere. 2, non esiste una definizione chiara di valori anomali, ma OLS funziona bene in grandi campioni in presenza di valori anomali. 3, per la mia vita non riesco a pensare a un esempio in cui ciò non sarebbe vero, ma qualcuno potrebbe dimostrarmi che non ho

— ragione,

Contesto "ma OLS funziona bene in grandi campioni in presenza di valori anomali" ... prendere un valore abbastanza grande nello spazio x (cioè un'osservazione influente) e un singolo punto può forzare l'adattamento LS a superarlo; se è anche un valore anomalo nella direzione Y, la tua linea continuerà comunque a superare quel punto, non importa quanto sia estrema.

— Glen_b -Restate Monica

I valori anomali sono facili da definire. Sono osservazioni incompatibili con il modello della maggior parte dei dati. Come mostra l'esempio di Glen_b, tale punto ha un'influenza indebita sull'adattamento, al limite superiore a tutte le altre osservazioni nel set di dati, portando a stime altamente distorte.

— user603

@ user603 Certo ... e quindi ... Devo ancora incontrare un programma / script che rilevi automaticamente valori anomali e lo faccia in modo chiaro che siamo tutti d'accordo nel modo giusto ... quindi mentre sono d'accordo con il tuo sentimento, non aiuta OP

— Repmat

@Repmat: rileggere la domanda del PO. Il mio commento risponde direttamente a una delle frasi che è punteggiata da un punto interrogativo.

— user603

Risposte:

Non non c'è bisogno ipotesi il 4 momenti di consistenza del OLS stimatore, ma si fa ipotesi sulle necessità più alti momenti di e di normalità asintotica e per stimare costantemente ciò che la matrice di covarianza asintotica è. $x$ $\epsilon$

In un certo senso però, questo è un punto matematico, tecnico, non pratico. Perché OLS funzioni bene in campioni finiti in un certo senso richiede più dei presupposti minimi necessari per ottenere consistenza asintotica o normalità come . $n \rightarrow \infty$

Condizioni sufficienti per coerenza:

Se hai un'equazione di regressione:

y_{i} = x_{i}^{'} β + ϵ_{i}

$y_i = \mathbf{x}_i' \boldsymbol{\beta} + \epsilon_i$

Lo stimatore OLS può essere scritto come: $\hat{\mathbf{b}}$

\hat{b} = β + {(\frac{X^{'} X}{n})}^{- 1} (\frac{X^{'} ϵ}{n})

$\hat{\mathbf{b}} = \boldsymbol{\beta} + \left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right)$

Per coerenza , devi essere in grado di applicare la Legge dei grandi numeri di Kolmogorov o, nel caso di serie temporali con dipendenza seriale, qualcosa come il Teorema Ergodico di Karlin e Taylor in modo che:

\frac{1}{n} X^{'} X \overset{p}{\to} E [x_{i} x_{i}^{'}] \frac{1}{n} X^{'} ϵ \overset{p}{\to} E [x_{i}^{'} ϵ_{i}]

$\frac{1}{n} X'X \xrightarrow{p} \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'] \quad \quad \quad \frac{1}{n} X'\boldsymbol{\epsilon} \xrightarrow{p} \mathrm{E}\left[\mathbf{x}_i' \epsilon_i\right]$

Altre ipotesi necessarie sono:

$\mathrm{E}[\mathbf{x}_i\mathbf{x}_i']$ il grado completo e quindi la matrice è invertibile.
I regressori sono predeterminati o rigorosamente esogeni in modo che . $\mathrm{E}\left[\mathbf{x}_i \epsilon_i\right] = \mathbf{0}$

Quindi e ottieni $\left( \frac{X'X}{n}\right)^{-1}\left(\frac{X'\boldsymbol{\epsilon}}{n} \right) \xrightarrow{p} \mathbf{0}$ $\hat{\mathbf{b}} \xrightarrow{p} \boldsymbol{\beta}$

Se vuoi applicare il teorema del limite centrale, allora hai bisogno di ipotesi sui momenti più elevati, ad esempio dove . Il teorema del limite centrale è ciò che ti dà la normalità asintotica di e ti permette di parlare di errori standard. Perché esista il secondo momento , sono necessari i 4i momenti di e . Vuoi sostenere che dove $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $\mathbf{g_i} = \mathbf{x}_i \epsilon_i$ $\hat{\mathbf{b}}$ $\mathrm{E}[\mathbf{g}_i\mathbf{g}_i']$ $x$ $\epsilon$ $\sqrt{n}\left(\frac{1}{n} \sum_i \mathbf{x}_i' \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( 0, \Sigma \right)$ $\Sigma = \mathrm{E}\left[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2 \right]$ . Perché questo funzioni, deve essere finito. $\Sigma$

Una bella discussione (che ha motivato questo post) è contenuta in Econometrics di Hayashi . (Vedi anche p. 149 per i 4i momenti e stima della matrice di covarianza.)

Discussione:

Questi requisiti al 4 ° momento sono probabilmente un punto tecnico piuttosto che un punto pratico. Probabilmente non incontrerai distribuzioni patologiche in cui questo è un problema nei dati di tutti i giorni? È per più comuni o altri presupposti di OLS andare storto.

Una domanda diversa, senza dubbio risposta altrove su Stackexchange, è quanto è grande un campione necessario per i campioni finiti per avvicinarsi ai risultati asintotici. C'è un senso in cui fantastici valori anomali portano a una convergenza lenta. Ad esempio, prova a stimare la media di una distribuzione lognormale con varianza davvero elevata. La media del campione è uno stimatore coerente e imparziale della media della popolazione, ma in quel caso log-normale con eccessiva curtosi ecc.

Il finito contro l'infinito è una distinzione estremamente importante in matematica. Non è questo il problema che incontri nelle statistiche quotidiane. I problemi pratici sono più nella categoria piccola vs. grande. La varianza, la curtosi, ecc ... sono abbastanza piccole da poter ottenere stime ragionevoli date le dimensioni del mio campione?

Esempio patologico in cui lo stimatore OLS è coerente ma non asintoticamente normale

Prendere in considerazione:

y_{i} = b x_{i} + ϵ_{i}

$y_i = b x_i + \epsilon_i$ Dove ma è tratto da una distribuzione t con 2 gradi di libertà, quindi . La stima OLS converge probabilmente in ma la distribuzione del campione per la stima OLS non è normalmente distribuita. Di seguito è riportata la distribuzione empirica per basata su 10000 simulazioni di una regressione con 10000 osservazioni.

x_{i} \sim N (0, 1)

$x_i \sim \mathcal{N}(0,1)$

ϵ_{i}

$\epsilon_i$

V a r (ϵ_{i}) = \infty

$\mathrm{Var}(\epsilon_i) = \infty$

b

$b$

\hat{b}

$\hat{b}$

\hat{b}

$\hat{b}$

QQPlot per stimatore (non converge nella distribuzione alla normalità)

La distribuzione di non è normale, le code sono troppo pesanti. Ma se aumenti i gradi di libertà a 3 in modo che esista il secondo momento di , si applica il limite centrale e ottieni: $\hat{b}$ $\epsilon_i$

Codice per generarlo:

beta = [-4; 3.7];
n = 1e5;    
n_sim = 10000;    
for s=1:n_sim
    X = [ones(n, 1), randn(n, 1)];  
    u  = trnd(2,n,1) / 100;
    y = X * beta + u;

    b(:,s) = X \ y;
end
b = b';
qqplot(b(:,2));

— Matthew Gunn
fonte

t (3)

$t(3)$

\sqrt{n} (\frac{1}{n} \sum_{i} x_{i} ϵ_{i}) \overset{d}{\to} N (0, Σ)

$\sqrt{n}\left( \frac{1}{n} \sum_i \mathbf{x}_i \epsilon_i \right) \xrightarrow{d} \mathcal{N}\left( \mathbf{0}, \Sigma \right)$

Σ = E [x_{i} x_{i}^{'} ϵ_{i}^{2}]

$\Sigma = \mathrm{E}[\mathbf{x}_i\mathbf{x}_i'\epsilon_i^2]$

Σ

$\Sigma$

Σ

$\Sigma$

ϵ_{i}

$\epsilon_i$

ϵ_{i}^{2}

$\epsilon_i^2$

x_{i} x_{i}^{'}

$\mathbf{x}_i\mathbf{x}_i'$

$X$
Questi fondamenti teorici delle statistiche causano molta confusione quando vengono ridotti ad applicazioni pratiche. Non esiste una definizione di valore anomalo, è un concetto intuitivo. Per comprenderlo in modo approssimativo, l'osservazione dovrebbe essere un punto di leva elevato o un punto di influenza elevato, ad esempio uno per il quale la diagnostica di cancellazione (DF beta) è molto grande o per cui la distanza di Mahalanobis nei predittori è grande (in statistiche univariate questo è solo un punteggio Z). Ma torniamo alle questioni pratiche: se conduco un'indagine casuale sulle persone e sul loro reddito familiare, e su 100 persone, 1 delle persone che campione è un milionario, la mia ipotesi migliore è che i milionari siano rappresentativi dell'1% della popolazione . In una lezione sui biostatisti, questi principi sono discussi e sottolineati che qualsiasi strumento diagnostico è essenzialmente esplorativo [3].non "l'analisi che esclude il valore anomalo è quella in cui credo", è "rimuovere un punto ha cambiato completamente la mia analisi".
La kurtosi è una quantità in scala che dipende dal secondo momento di una distribuzione, ma l'assunzione di una varianza finita e diversa da zero per questi valori è tacita poiché è impossibile che questa proprietà rimanga nel quarto momento ma non nel secondo. Quindi in fondo sì, ma nel complesso non ho mai ispezionato né la curtosi né i quarti momenti. Non trovo che siano una misura pratica o intuitiva. In questo giorno in cui un istogramma o un diagramma a dispersione viene prodotto dallo schiocco delle dita, è opportuno utilizzare statistiche diagnostiche grafiche qualitative, ispezionando questi grafici.

[1] /math/79773/how-does-one-prove-that-lindeberg-condition-is-satisfied

[2] http://projecteuclid.org/download/pdf_1/euclid.ss/1177013818

[3] http://faculty.washington.edu/semerson/b517_2012/b517L03-2012-10-03/b517L03-2012-10-03.html

— ADAMO
fonte

Come è stato sottolineato in precedenza, l'intuizione di uno sui valori anomali si interrompe quando ce ne sono più di uno. Non si distingueranno necessariamente in un grafico beta di DF o avranno punteggi z elevati perché queste stesse statistiche possono essere influenzate dagli outlier. Come discusso in precedenza, i valori anomali , se non controllati, produrranno coefficienti distorti a meno che non vengano rimossi o utilizzati con una tecnica di stima robusta.

— user603

Penso più in generale, quando esprimi opinioni, le tue risposte otterrebbero includendo indicazioni sulla letteratura pertinente in modo che il PO sappia quale di queste opinioni è ampiamente diffusa.

— user603

@ user603 Al tuo primo commento, non ho indicato DFbetas (o alcuno strumento diagnostico) come un metodo esclusivo per identificare i valori anomali, ma sicuramente utile. Quando si eseguono valori anomali di inferenza semi-parametrica (modello medio corretto) NON distorcere i modelli LS, è possibile produrre un riferimento o addirittura un esempio diverso da LS non parametrico? Il tuo secondo commento è positivo e mi prenderò i prossimi momenti per fornire citazioni.

— AdamO,

La tua affermazione, "OLS non è distorta in queste condizioni, è solo incoerente" non è corretta. I momenti più alti sono necessari per la normalità asintotica. Non sono necessari per la coerenza nei campioni IID in cui si applica la legge Kolmogorov dei grandi numeri.

— Matthew Gunn,