L'assunzione di linearità nella regressione lineare è semplicemente una definizione di

Sto rivedendo la regressione lineare.

Il libro di testo di Greene afferma:

Ora, naturalmente, ci saranno altre ipotesi sul modello di regressione lineare, come $E(\epsilon|X)=0$ . Questa assunzione combinata con l'assunzione di linearità (che in effetti definisce $\epsilon$ ), mette la struttura sul modello.

Tuttavia, l'assunto di linearità di per sé non pone alcuna struttura sul nostro modello, poiché $\epsilon$ può essere completamente arbitrario. Per ogni variabile $X, y$ qualunque, qualunque sia la relazione tra i due, potremmo definire $\epsilon$ tale che il presupposto di linearità vale. Pertanto, la "assunzione" della linearità dovrebbe in realtà essere definita una definizione di $\epsilon$ , piuttosto che un'assunzione.

Pertanto mi chiedo :

Greene è sciatto? Avrebbe dovuto effettivamente scrivere: ? Questa è una "ipotesi di linearità" che in realtà mette la struttura sul modello. $E(y|X)=X\beta$
O devo accettare che l'assunto di linearità non pone la struttura sul modello ma definisce solo un , dove le altre assunzioni useranno quella definizione di per mettere la struttura sul modello? $\epsilon$ $\epsilon$

Modifica : poiché sembra esserci un po 'di confusione attorno alle altre assunzioni, vorrei aggiungere qui la serie completa di assunzioni:

Questo è di Greene, Analisi econometrica, 7 ° ed. p. 16.

— user56834
fonte

Queste sono osservazioni percettive (+1). In tutta onestà, tuttavia, credo che la maggior parte degli autori (se non tutti) stiano lavorando in un contesto in cui il significato stesso di un errore additivo come

include l'assunto che la sua distribuzione è centrata su

ϵ

$\epsilon$

0

$0$

— whuber

@whuber, ho aggiunto l'intera serie di ipotesi. guarda A3. A3 rende esplicito che è centrato su 0, il che implicherebbe che Greene non lo assume in A1, il che mi lascia a chiedermi se A1 abbia qualche contenuto logico, a parte definire

ϵ

$\epsilon$

— user56834

Il significato inteso di un elenco di ipotesi è che detengono collettivamente, non separatamente. Questo non mostra alcuna "sciattezza".

— whuber

@AdamO, la parola "corretto" sembra non avere un significato preciso per me. Sto cercando di capire più esattamente questo. Mi sembra che la formulazione più precisa di tutto ciò sia quella di dire che il presupposto 1 dovrebbe essere chiamato "definizione di

", e quindi tutto ha un senso. O in realtà mi manca qualcosa, motivo per cui ho posto questa domanda. Sfortunatamente finora non ho visto una risposta diretta a questa domanda

ϵ

$\epsilon$

— user56834

@ Programmer2134 stai ricevendo risposte imprecise perché stai ponendo una domanda imprecisa. Uno non "mette la struttura su un modello" come dici tu. Se il modello medio è sbagliato (

viene usato), allora la risposta è caratterizzata come

. e i residui sono considerati come la somma della distorsione e dell'errore.

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— AdamO

Risposte:

Greene è sciatto? Avrebbe dovuto effettivamente scrivere: ? Questa è una "ipotesi di linearità" che in realtà mette la struttura sul modello. $E(y|X)=X\beta$

In un certo senso, sì e no. Da un lato, sì, data l'attuale ricerca sulla causalità moderna , è sciatto, ma proprio come la maggior parte dei libri di testo di econometria, nel senso che non fanno una chiara distinzione di quantità causali e osservative, portando a confusioni comuni come questa stessa domanda. D'altra parte, no, questa ipotesi non è sciatta nel senso che è effettivamente diversa dalla semplice assunzione di . $E(y|X)=X\beta$

Il nocciolo della questione qui è la differenza tra l'attesa condizionale, e quella strutturale $E(y|X)$ equazione (causale) di , così come la sua aspettativa strutturale (causale) $y$ $E[Y|do(X)]$ . L'ipotesi di linearità in Greene è un'ipotesi strutturale . Vediamo un semplice esempio. Immagina che l'equazione strutturale sia:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

Adesso molla . Quindi avremmo: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

dove . Inoltre, possiamo scrivere e avremmo $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ . Questo dimostra che possiamo avere un'aspettativa condizionale linearecorrettamente specificata che per definizione avrà un disturbo ortogonale, tuttavia l'equazione strutturale sarebbe non lineare. $E[\epsilon'|x] = 0$ $E[y|x]$

O devo accettare che l'assunto di linearità non pone la struttura sul modello ma definisce solo un , dove le altre assunzioni useranno quella definizione di per mettere la struttura sul modello? $\epsilon$ $\epsilon$

L'assunto di linearità definisce un , cioè per definizione, dove consente di identificare l'aspettativa strutturale $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ rappresenta le deviazioni di dalla sua aspettativa quando sperimentalmente set ( vedere sezione Pearl 5.4 ). Le altre assunzioni vengono utilizzate per identificare i parametri strutturali (ad esempio, l'assunzione di esogeneità di $y$ $X$ $\epsilon$ $E[Y|do(X)]$ con l'aspettativa condizionale ) o per la derivazione di proprietà statistiche degli stimatori (per esempio, l'assunzione di omoschedasticità garantisce che OLS sia BLU, l'assunzione di normalità rende facile derivare risultati "campione finito" per inferenza ecc.). $E[Y|X]$

Tuttavia, l'assunto di linearità di per sé non pone alcuna struttura sul nostro modello, da allora può essere completamente arbitrario. Per ogni variabile qualunque, qualunque sia la relazione tra i due, potremmo definire tale che il presupposto di linearità vale. $\epsilon$ $X, y$ $\epsilon$

La tua affermazione qui entra nel problema principale dell'inferenza causale in generale! Come mostrato nel semplice esempio sopra, possiamo preparare disturbi strutturali che potrebbero rendere l'aspettativa condizionata di $y$ lineare dato . In generale, diversi modelli strutturali (causali) possono avere la stessa distribuzione osservativa, puoi persino avere causalità senza associazione osservata. Pertanto, in questo senso, hai ragione --- abbiamo bisogno di più ipotesi su per mettere "più struttura" nel problema e identificare i parametri strutturali con dati osservativi. $x$ $\epsilon$ $\beta$

Nota a margine

Vale la pena ricordare che la maggior parte dei libri di testo di econometria sono confusi quando si tratta della distinzione tra regressione ed equazioni strutturali e il loro significato. Questo è stato documentato di recente. Puoi consultare un articolo di Chen e Pearl qui e un sondaggio esteso di Chris Auld . Greene è uno dei libri esaminati.

— Carlos Cinelli
fonte

Grazie, questa è la risposta che stavo cercando. Quindi quando dici che l'assunzione di linearità è un'ipotesi strutturale, allora cosa comporta esattamente la relazione causale tra

? Può esserci ancora una relazione causale corretta? È solo che la relazione causale diretta da

è lineare, vero? Può esserci ancora un effetto causale altamente non lineare di

attraverso

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

— user56834

@ Programmer2134 è un'altra area in cui i libri di testo di econometria sono sciatti, troverai pochi riferimenti a effetti diretti / indiretti, mediazione ecc. Se l'equazione è strutturale, allora possiamo avere una definizione operativa del disturbo strutturale come la differenza di

con l'atteso effetto causale di

, ovvero

. Quindi, in questo senso, la strutturale

non è "causato" di

. Tuttavia, questo non ci dice nulla sul

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$ associazione di

, poiché potrebbero avere cause comuni.

ϵ

$\epsilon$

X

$X$

— Carlos Cinelli,

@ Programmer2134 a proposito, le tue preoccupazioni sono sulla buona strada, penso che il Primer di Pearl sull'inferenza causale potrebbe essere un compagno interessante di Greene!

— Carlos Cinelli,

Per inciso, ho iniziato a leggere "Causality: Models, Reasoning and Inference" di Pearl qualche tempo fa. Ho pensato che fosse molto interessante, ma per me era in qualche modo astratto. Non sono andato oltre il capitolo 2. Pensi che "primer sull'inferenza causale" sarà più adatto? (cioè introdurre concetti in modo più intuitivo).

— user56834

@ColorStatistics è possibile utilizzare la regressione per le previsioni, certo, ma l'assunto di esogeneità non ha alcun ruolo. Questo è ciò che l'OP ha iniziato a sospettare da solo, chiedendosi perché Greene non abbia semplicemente scritto l'assunto poiché

è lineare.

E (Y | x)

$E(Y|x)$

— Carlos Cinelli,

a cura di commenti di OP e Matthew Drury

Per rispondere a questa domanda suppongo che Greene e OP abbiano in mente la seguente definizione di linearità: Linearità significa che per ogni aumento di unità in questo predittore, il risultato viene aumentato di beta ( ), ovunque sulla gamma dei possibili valori di predittore si verifica questo aumento di una unità. Vale a dire la funzione è e non ad es. o $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$ . Inoltre, questa ipotesi è focalizzata sui beta e quindi si applica ai predittori (ovvero variabili indipendenti).

L'aspettativa dei residui subordinata al modello è qualcos'altro. Sì, è vero che la matematica dietro una regressione lineare definisce / tenta di definire . Tuttavia, questo è generalmente impostato sull'intero intervallo di valori adattati / previsti per . Se si osservano parti specifiche del predittore lineare e il valore previsto di , è possibile notare l' eteroscedasticità (aree in cui la variazione di è maggiore rispetto a qualsiasi altra parte) o aree in cui $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ . Un'associazione non lineare tra le le potrebbe essere la causa di ciò, ma non è l'unica ragione per cuipotrebbero verificarsi l'eteroscedasticità o (vedere ad esempio la distorsione predittiva mancante). $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$

Dai commenti: OP afferma "il presupposto della linearità non limita in alcun modo il modello, dato che epsilon è arbitrario e può avere qualsiasi funzione di XX", su cui concordo. Penso che ciò sia chiarito dal fatto che le regressioni lineari sono in grado di adattarsi a qualsiasi dato, indipendentemente dal fatto che il presupposto della linearità sia o meno violato. Sto speculando qui, ma questo potrebbe essere il motivo per cui Greene ha scelto di mantenere l'errore nella formula - salvando per dopo - per indicare che nell'assumere la linearità, (e non l'atteso ) può essere definito in base a ma mantiene alcuni errori $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ , indipendentemente da quali valori assume. Posso solo sperare che in seguito continui a dichiarare la pertinenza di $ϵ$ $E(ϵ|X)=0$ .

In breve (è vero, senza aver letto completamente il libro di Greene e senza averne verificato l'argomentazione):

Greene probabilmente si riferisce al fatto che i beta sono costanti per l'intero intervallo del predittore (l'enfasi dovrebbe essere posta sulla beta in o $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$ equazioni ;
L'ipotesi di linearità mette una struttura sul modello. Si noti tuttavia che trasformazioni o aggiunte come spline prima della modellazione possono rendere le associazioni non lineari conformi al quadro di regressione lineare.

— IWS
fonte

Questo è utile, ma non è necessario in alcun senso l'appello alla continuità. Il macchinario funziona allo stesso modo se

si basa solo su

predittori.

X

$X$

(0, 1)

$(0, 1)$

— Nick Cox,

Hai scritto

, ma penso che si intende

f (y)

$f(y)$

f (x)

$f(x)$

— Nick Cox,

@NickCox Ho modificato questi punti.

— IWS,

Cosa intendi per normalità? Se intendi normalità, allora non è corretto perché epsilon non deve essere normale perché abbia un'aspettativa condizionale di zero. Ma vuoi dire qualcos'altro? Inoltre, si presuppone che la beta sia costante per tutte le osservazioni. E cosa pensi sia sbagliato nel mio argomento secondo cui l'assunto di linearità non limita in alcun modo il modello, dato che epsilon è arbitrario e può essere una qualsiasi funzione di

? Nota che so cos'è l'eteroschedasticità e che la linearità significa lineare nei parametri, non nelle variabili.

X

$X$

— user56834

Non sono d'accordo con questo. L'ipotesi di aspettativa non è correlata alla normalità, ma è assolutamente necessaria per dare un senso all'assunto di linearità strutturale. Altrimenti, come notato dall'op, l'assunto di linearità non ha senso. Un'ipotesi di normalità è una bestia abbastanza diversa e spesso non è necessaria.

— Matthew Drury,

-1

Ero un po 'confuso dalla risposta sopra, quindi ci darò un altro tentativo. Penso che la domanda non riguardi in realtà la regressione lineare "classica", ma lo stile di quella particolare fonte. Sulla parte di regressione classica:

Tuttavia, l'assunto di linearità di per sé non pone alcuna struttura sul nostro modello

Questo è assolutamente corretto. Come hai affermato, potrebbe anche uccidere la relazione lineare e aggiungere qualcosa di completamente indipendente da $\epsilon$ $X$ modo da non poter calcolare alcun modello.

Greene è sciatto? In realtà avrebbe dovuto scrivere: $E(y|X)=Xβ$

Non voglio rispondere alla prima domanda, ma vorrei riassumere i presupposti necessari per la normale regressione lineare:

Supponiamo che osservi (ti vengono dati) punti dati e $x_i \in \mathbb{R}^d$ per . Devi presumere che i dati che hai osservato provengano da variabili casuali distribuite in modo indipendente e identico tali che ... $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

Esiste un fisso (indipendente da ) tale che per tutti e le variabili casuali sono tali che $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
Anche sono iid e è distribuito come ( deve essere indipendente anche da ) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
Per e $X = (X_1, ..., X_n)$ le variabili hanno una densità comune, cioè la variabile casuale singolo ha una densità $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

Ora puoi percorrere il solito percorso e calcolare

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

in modo che con la solita "dualità" tra apprendimento automatico (minimizzazione delle funzioni di errore) e teoria della probabilità (massimizzazione delle probabilità) si massimizza in che in effetti ti dà la solita roba "RMSE". $-\log f_{Y|X}(y|x)$ $\beta$

Ora, come affermato: se l'autore del libro che stai citando vuole fare questo punto (cosa che devi fare se vuoi essere in grado di calcolare la linea di regressione "migliore possibile" nell'impostazione di base), allora sì, deve fare questo presupposto sulla normalità del da qualche parte nel libro. $\epsilon$

Adesso ci sono diverse possibilità:

Non scrive questo assunto nel libro. Quindi è un errore nel libro.
Lo scrive sotto forma di un'osservazione 'globale' come 'ogni volta che scrivo allora i sono normalmente distribuiti con zero medio se non diversamente specificato'. Quindi IMHO è un cattivo stile perché causa esattamente la confusione che provi in questo momento. Ecco perché tendo a scrivere le assunzioni in una forma abbreviata in ogni teorema. Solo così ogni blocco può essere visualizzato in modo pulito a sé stante. $+ \epsilon$ $\epsilon$
- Lo scrive da vicino alla parte che stai citando e non ci siamo accorti (anche una possibilità :-))

Tuttavia, anche in un rigoroso senso matematico, l'errore normale è qualcosa di canonico (la distribuzione con l'entropia più elevata [una volta che la varianza è stata risolta], quindi, producendo i modelli più forti) in modo che alcuni autori tendano a saltare questa ipotesi ma utilizzino comunque . Formalmente, hai assolutamente ragione: usano la matematica nel "modo sbagliato". Ogni volta che vogliono trovare l'equazione per la densità come detto sopra, allora devono conoscere abbastanza bene, altrimenti ne hai solo le proprietà che volano in giro in ogni equazione sensata che provi a scrivere. $f_{Y|X}$ $\epsilon$

— Fabian Werner
fonte

non è necessario distribuire normalmente gli errori per utilizzare OLS.

— user56834

(-1) Gli errori non devono essere normalmente distribuiti. In effetti, non devono neppure essere indipendenti o distribuiti in modo identico perché la stima dei parametri sia imparziale e affinché i test siano coerenti. Le tue specifiche molto più rigorose sono necessarie affinché OLS sia un test esatto.

— AdamO

@AdamO: Ah? Quindi come calcoli la probabilità allora? O meglio ... se ti viene chiesto di implementare la regressione lineare: quale linea di regressione selezioni se l'errore non è normalmente distribuito e il singolo

non è indipendente?

ϵ_{i}

$\epsilon_i$

— Fabian Werner il

@FabianWerner la mia scelta del modello dipende dalla domanda da porre. La regressione lineare stima una tendenza del primo ordine in un insieme di dati, una "regola empirica" che collega una differenza in X a una differenza in Y. Se gli errori non sono normalmente distribuiti, il CLT Lindeberg Feller garantisce che gli IC e gli IP sono approssimativamente corretti anche in campioni molto piccoli. Se gli errori non sono indipendenti (e la struttura delle dipendenze è sconosciuta), le stime non sono distorte sebbene gli ES possano essere errati. La stima dell'errore sandwich attenua questo problema.

— AdamO