Regressione quando i residui OLS non sono normalmente distribuiti

Esistono diversi thread su questo sito che discutono su come determinare se i residui di OLS sono distribuiti asintoticamente normalmente. Un altro modo per valutare la normalità dei residui con il codice R è fornito in questa eccellente risposta . Questa è un'altra discussione sulla differenza pratica tra residui standardizzati e osservati.

Ma supponiamo che i residui non vengano distribuiti normalmente, come in questo esempio . Qui abbiamo diverse migliaia di osservazioni e chiaramente dobbiamo respingere il presupposto dei residui normalmente distribuiti. Un modo per affrontare il problema è utilizzare una qualche forma di stimatore robusto, come spiegato nella risposta. Tuttavia non sono limitato a OLS e in realtà vorrei comprendere i vantaggi di altre metodologie glm o non lineari.

Qual è il modo più efficiente per modellare i dati che violano la normalità OLS dell'assunzione di residui? O almeno quale dovrebbe essere il primo passo per sviluppare una solida metodologia di analisi della regressione?

La stima dei minimi quadrati ordinari è ancora uno stimatore ragionevole di fronte a errori non normali. In particolare, il teorema di Gauss-Markov afferma che la stima dei minimi quadrati ordinari è il miglior stimatore lineare imparziale (BLU) dei coefficienti di regressione ("migliore" che significa ottimale in termini di minimizzazione dell'errore al quadrato medio ) fintanto che gli errori

(1) hanno zero medio

(2) non sono correlati

(3) hanno una varianza costante

Si noti che qui non esiste alcuna condizione di normalità (o addirittura alcuna condizione che gli errori siano IID ).

$p$$M$

$t$$2.01$ long tailed rispetto agli errori riscontrati nei dati del PO), le stime dei coefficienti sono distribuite asintoticamente normalmente, ma ci vuole molto più tempo per "dare il via" rispetto ad altre distribuzioni dalla coda più breve.

R$y_{i} = 1 + 2x_{i} + \varepsilon_i$$\varepsilon_{i} \sim t_{2.01}$$\hat{\beta}_{1}$$n=4000$

set.seed(5678)
B = matrix(0,1000,2)
for(i in 1:1000)
{
    x = rnorm(4000) 
    y = 1 + 2*x + rt(4000,2.01)
    g = lm(y~x)
    B[i,] = coef(g)
}
qqnorm(B[,2])
qqline(B[,2])

Penso che tu voglia esaminare tutte le proprietà dei residui.

1. normalità
2. varianza costante
3. correlato a una covariata.
4. combinazioni di quanto sopra

Se è solo 1 ed è a causa di pesanti o asimmetria a causa di una coda pesante, una forte regressione potrebbe essere un buon approccio o forse una trasformazione alla normalità. Se si tratta di una varianza non costante, provare una variazione di stabilizzazione della varianza o tentare di modellare la funzione di varianza. Se sono solo 3 che suggerisce una diversa forma di modello che coinvolge quella covariata. Qualunque sia il problema, il bootstrap dei vettori o dei reidual è sempre un'opzione.

La mia esperienza è completamente in accordo con Michael Chernick. L'applicazione della trasformazione dei dati non solo rende l'errore di modellazione normalmente distribuito, ma può anche correggere l'eteroschedasticità.

Mi dispiace, ma suggerire altrimenti come raccogliere una quantità folle di dati o utilizzare metodi di regressione robusti meno efficienti, è fuorviante, secondo me, avere pratica di questa scienza / arte.

Macro (jsut sopra) ha dichiarato la risposta corretta. Solo un po 'di precisione perché avevo la stessa domanda

La condizione di normalità dei residui è utile quando anche i residui sono omoschedastici. Il risultato è quindi che OLS ha la più piccola varianza tra tutti gli stimatori (lineari o non lineari).

I presupposti OLS estesi:

1. $E(u|X_i = x) = 0$
2. $(X_i,Y_i), i=1,…,n,$
3. I valori anomali di grandi dimensioni sono rari
4. sei omoschedastico
5. $N(0,σ^2)$

se 1-5 verificato, allora OLS ha la più piccola varianza tra tutto lo stimatore (lineare O non lineare) .

se solo 1-4 verificato, quindi da Gauss-Markov, OLS è il miglior stimatore lineare (solo!) (BLU).

Fonte: Stock and Watson, Econometrics + my course (EPFL, Econometrics)

Per condizioni non normali a volte si ricorre a una forte regressione , in particolare utilizzando i collegamenti ai metodi .

Al fine di presentare il contesto di non normalità, può essere utile rivedere i presupposti per la regressione OLS lineare , che sono:

• Debole esogeneità . Ciò significa essenzialmente che le variabili predittive, x , possono essere trattate come valori fissi, piuttosto che variabili casuali. Ciò significa, ad esempio, che si presume che le variabili predittive siano prive di errori, ovvero non contaminate da errori di misurazione. Questa ipotesi è quella che viene violata più frequentemente e porta a errori come elencato seguendo questo elenco di ipotesi.
• Linearità. Ciò significa che la media della variabile di risposta è una combinazione lineare dei parametri (coefficienti di regressione) e delle variabili predittive. Si noti che questa ipotesi è molto meno restrittiva di quanto possa sembrare a prima vista. Poiché le variabili predittive sono trattate come valori fissi (vedi sopra), la linearità è in realtà solo una limitazione dei parametri. Le variabili predittive stesse possono essere arbitrariamente trasformate e in effetti è possibile aggiungere più copie della stessa variabile predittiva sottostante, ognuna trasformata in modo diverso.
• Varianza costante (aka omoscedasticità). Ciò significa che valori diversi della variabile di risposta hanno la stessa varianza nei loro errori, indipendentemente dai valori delle variabili predittive. In pratica questo assunto non è valido (ovvero gli errori sono eteroscedastici) se la variabile di risposta può variare su larga scala. Al fine di verificare la varianza eterogenea dell'errore o quando un modello di residui viola le assunzioni del modello di omoscedasticità (l'errore è ugualmente variabile attorno alla "linea più adatta" per tutti i punti di x), è prudente cercare un "effetto ventaglio" tra errore residuo e valori previsti. Questo per dire che ci sarà un cambiamento sistematico nei residui assoluti o quadrati quando viene tracciato rispetto alle variabili predittive. Gli errori non verranno distribuiti uniformemente sulla linea di regressione. L'eteroscedasticità comporterà la media delle varianze distinguibili attorno ai punti per ottenere una singola varianza che rappresenta in modo impreciso tutte le varianze della linea. In effetti, i residui appaiono raggruppati e divisi sui loro diagrammi previsti per valori sempre più piccoli per i punti lungo la linea di regressione lineare e l'errore quadratico medio per il modello sarà errato.
• Indipendenza dagli errori. Ciò presuppone che gli errori delle variabili di risposta non siano correlati tra loro. (L'indipendenza statistica effettiva è una condizione più forte della mera mancanza di correlazione e spesso non è necessaria, anche se può essere sfruttata se si ritiene che sia valida. Quest'ultima può essere esaminata con analisi di cluster e correzione per l'interazione.) Alcuni metodi (ad esempio generalizzati minimi quadrati) sono in grado di gestire errori correlati, sebbene in genere richiedano molti più dati a meno che non venga utilizzata una sorta di regolarizzazione per orientare il modello verso l'assunzione di errori non correlati. La regressione lineare bayesiana è un modo generale di gestire questo problema.

• La relazione statistica tra i termini di errore e i regressori svolge un ruolo importante nel determinare se una procedura di stima ha proprietà di campionamento desiderabili come essere imparziali e coerenti.

• La disposizione o distribuzione di probabilità delle variabili predittive x ha una grande influenza sulla precisione delle stime di β. Il campionamento e la progettazione di esperimenti sono sottocampi di statistiche altamente sviluppati che forniscono indicazioni per la raccolta di dati in modo da ottenere una stima precisa di β.

$t$$y$$df$$df=1$$t$$(-\infty,+\infty)$

È arbitrario invocare la distribuzione di Cauchy rispetto ai residui, nel senso che quando gli errori generatori sono distribuiti da Cauchy, i residui OLS da una linea spuria attraverso i dati sarebbero ancora meno affidabili, vale a dire, immondizia in --- immondizia. In questi casi, si può usare la regressione di Theil-Sen . Theil-Sen è sicuramente più robusto di OLS per i residui non normali, ad esempio, l'errore distribuito di Cauchy non degraderebbe gli intervalli di confidenza e, a differenza di OLS, è anche una regressione bivariata, tuttavia nel caso bivariata è ancora parziale. La regressione di Passing-Bablok può essere più obiettiva bivariata, ma non si applica alle pendenze di regressione negativa. È più comunemente usato per studi di confronto dei metodi. Si dovrebbe menzionare la regressione Demingqui, a differenza delle regressioni di Theil-Sen e Passing-Bablok, è una soluzione effettiva al problema bivariato, ma manca della solidità di quelle altre regressioni. La robustezza può essere aumentata troncando i dati per includere i valori più centrali, ad esempio il consenso casuale del campione (RANSAC) è un metodo iterativo per stimare i parametri di un modello matematico da un insieme di dati osservati che contiene valori anomali.

$x$$^1$$x$$y$$x$$y$$y$$^2$$x$$y$$x$$y=f(x)$

1. Longford, NT (2001). "Corrispondenza". Giornale della Royal Statistical Society, Serie A. 164: 565. doi: 10.1111 / 1467-985x.00219