Come concettualizzare l'errore in un modello di regressione?

Frequento un corso di analisi dei dati e alcune delle mie idee ben radicate vengono scosse. Vale a dire, l'idea che l'errore (epsilon), così come qualsiasi altro tipo di varianza, si applica solo (così ho pensato) a un gruppo (un campione o l'intera popolazione). Ora, ci viene insegnato che una delle ipotesi di regressione è che la varianza è "la stessa per tutti gli individui". Questo è in qualche modo scioccante per me. Ho sempre pensato che fosse la varianza in Y attraverso tutti i valori di X che si riteneva costante.

Ho fatto una chiacchierata con il prof, che mi ha detto che quando facciamo una regressione, assumiamo che il nostro modello sia vero. E penso che sia la parte difficile. Per me, il termine errore (epsilon) significava sempre qualcosa come "qualunque elemento non conosciamo e che possa influenzare la nostra variabile di risultato, oltre ad un errore di misurazione". Nel modo in cui la lezione viene insegnata, non esiste "altra roba"; si presume che il nostro modello sia vero e completo. Ciò significa che tutta la variazione residua deve essere considerata come un prodotto dell'errore di misurazione (quindi, la misurazione di un individuo 20 volte dovrebbe produrre la stessa varianza della misurazione di 20 individui una volta).

Sento che qualcosa non va da qualche parte, mi piacerebbe avere un parere di esperti su questo ... C'è qualche spazio per l'interpretazione su quale sia il termine di errore, concettualmente parlando?

Se ci sono aspetti di individui che hanno un effetto sui valori y risultanti, allora o c'è un modo per arrivare a quegli aspetti (nel qual caso dovrebbero essere parte del predittore x), o non c'è modo di mai arrivare a quello informazione.

Se non c'è modo di ottenere mai queste informazioni e non c'è modo di misurare ripetutamente i valori y per gli individui, allora non importa davvero. Se puoi misurare y ripetutamente e se il tuo set di dati contiene effettivamente misurazioni ripetute per alcuni individui, hai un potenziale problema a portata di mano, poiché la teoria statistica presuppone l'indipendenza degli errori / residui di misurazione.

Ad esempio, supponiamo che stai cercando di adattare un modello del modulo

$y=\beta_0+\beta_1 x$

e quello per ogni individuo,

$yind=100+10x+z$

dove z dipende dall'individuo ed è normalmente distribuito con media 0 e deviazione standard 10. Per ogni misurazione ripetuta di un individuo,

$ymeas=100+10x+z+e$

$e$

Potresti provare a modellarlo come

$y=\beta_0+\beta_1 x+\epsilon$

$\epsilon$

$\sigma=\sqrt{10^2+0.1^2}=\sqrt{100.01}$

Finché hai una sola misurazione per ogni individuo, andrebbe bene. Tuttavia, se hai più misurazioni per lo stesso individuo, i tuoi residui non saranno più indipendenti!

$\beta_0=100$$\beta_1=10$$\chi^2$

Penso che "l'errore" sia meglio descritto come "la parte delle osservazioni che non è prevedibile date le nostre informazioni attuali". Cercare di pensare in termini di popolazione vs campione porta a problemi concettuali (bene lo fa comunque per me), così come pensare agli errori come "puramente casuali" tratti da una distribuzione. pensare in termini di previsione e "prevedibilità" ha molto più senso per me.

$p(e_{1},\dots,e_{n})$$E(\frac{1}{n}\sum_{i=1}^{n}e_{i}^2)=\sigma^2$$\sigma^2$$\sigma$

$n$

Ecco un link molto utile per spiegare una semplice regressione lineare: http://www.dangoldstein.com/dsn/archives/2006/03/every_wonder_ho.html forse può aiutare a comprendere il concetto di "errore".

FD

Non sono d'accordo con la formulazione del professore di questo. Come dici tu, l'idea che la varianza sia la stessa per ogni individuo implica che il termine di errore rappresenta solo l'errore di misurazione. Di solito non è così che viene costruito il modello di regressione multipla di base. Inoltre, come dici tu, la varianza è definita per un gruppo (che si tratti di un gruppo di singoli soggetti o di un gruppo di misurazioni). Non si applica a livello individuale, a meno che tu non abbia ripetute misure.

Un modello deve essere completo in quanto il termine di errore non deve contenere influenze da alcuna variabile correlata ai predittori. Il presupposto è che il termine di errore è indipendente dai predittori. Se viene omessa una variabile correlata, si ottengono coefficienti distorti (questo si chiama distorsione da variabile omessa ).