In che modo la regressione lineare utilizza la distribuzione normale?

Nella regressione lineare, si presume che ciascun valore previsto sia stato scelto da una normale distribuzione di possibili valori. Vedi sotto.

Ma perché si presume che ciascun valore previsto provenga da una distribuzione normale? In che modo la regressione lineare usa questo presupposto? Cosa succede se i valori possibili non vengono normalmente distribuiti?

La regressione lineare da sola non ha bisogno del normale presupposto (gaussiano), gli stimatori possono essere calcolati (con minimi quadrati lineari) senza alcun bisogno di tale presupposto, e ha perfettamente senso senza di essa.

Ma poi, come statistici, vogliamo comprendere alcune delle proprietà di questo metodo, risposte a domande come: gli stimatori dei minimi quadrati sono ottimali in un certo senso? o possiamo fare di meglio con alcuni stimatori alternativi? Quindi, sotto la normale distribuzione dei termini di errore, possiamo dimostrare che questi stimatori sono, in effetti, ottimali, ad esempio sono "imparziali di minima varianza" o massima probabilità. Nessuna cosa del genere può essere dimostrata senza il normale presupposto.

Inoltre, se vogliamo costruire (e analizzare le proprietà di) intervalli di confidenza o test di ipotesi, utilizziamo il presupposto normale. Ma potremmo invece costruire intervalli di confidenza con altri mezzi, come il bootstrap. Quindi, non usiamo il presupposto normale, ma, purtroppo, senza quello, potrebbe essere che dovremmo usare alcuni stimatori diversi da quelli dei minimi quadrati, forse alcuni stimatori robusti?

In pratica, ovviamente, la distribuzione normale è al massimo una finzione conveniente. Quindi, la domanda davvero importante è: quanto dobbiamo avvicinarci alla normalità per affermare di utilizzare i risultati di cui sopra? Questa è una domanda molto più complicata! I risultati di ottimalità non sono robusti , quindi anche una minima deviazione dalla normalità potrebbe distruggere l'ottimalità. Questo è un argomento a favore di metodi robusti. Per un'altra virata a quella domanda, vedi la mia risposta a Perché dovremmo usare t errori invece di normali errori?

Un'altra domanda rilevante è: perché la normalità dei residui è "quasi per nulla importante" ai fini della stima della linea di regressione?

 EDIT

Questa risposta ha portato a una grande discussione nei commenti, che ha portato di nuovo alla mia nuova domanda: regressione lineare: qualsiasi distribuzione non normale che dà identità di OLS e MLE? che ora ha finalmente ottenuto (tre) risposte, fornendo esempi in cui distribuzioni non normali portano a stimatori dei minimi quadrati.

Questa discussione Che cosa succede se i residui sono normalmente distribuiti, ma non lo è? ha ben affrontato questa domanda.

In breve, per un problema di regressione, supponiamo che la risposta sia normalmente condizionata dal valore di x. Non è necessario che le variabili indipendenti o di risposta siano indipendenti.

1. Ma perché si presume che ciascun valore previsto provenga da una distribuzione normale?

Non c'è una ragione profonda per questo, e tu sei libero di cambiare le ipotesi distributive, passare a GLM o regressione robusta. L'LM (distribuzione normale) è popolare perché è facile da calcolare, abbastanza stabile e i residui sono in pratica spesso più o meno normali.

2. In che modo la regressione lineare usa questo presupposto?

Come ogni regressione, il modello lineare (= regressione con errore normale) cerca i parametri che ottimizzano la probabilità per la data assunzione distributiva. Vedi qui per un esempio di un calcolo esplicito della probabilità di un modello lineare. Se si prende la probabilità di log di un modello lineare, risulta essere proporzionale alla somma dei quadrati e l'ottimizzazione di ciò può essere calcolata abbastanza convenientemente.

3. Cosa succede se i valori possibili non vengono normalmente distribuiti?

Se si desidera adattare un modello con diverse distribuzioni, i passi successivi del libro di testo sarebbero modelli lineari generalizzati (GLM), che offrono diverse distribuzioni o modelli lineari generali, che sono ancora normali, ma rilassano l'indipendenza. Molte altre opzioni sono possibili. Se si desidera solo ridurre l'effetto dei valori anomali, si potrebbe ad esempio considerare una regressione robusta.

Dopo aver riesaminato nuovamente la domanda, penso che non vi sia motivo di utilizzare la distribuzione normale a meno che non si desideri eseguire una sorta di inferenza sul parametro di regressione. E puoi applicare la regressione lineare e ignorare la distribuzione del termine del rumore.

$(x_i,y_i)$$y = \beta x +c$$\beta$$\sum_i (y_i - \sum_i \beta x_i - c)^2$$\eta_i = y_i - (\beta x_i +c)$$\beta$$\beta$$\beta$$\beta$$\beta$