Regressione lineare: qualsiasi distribuzione non normale che dà identità di OLS e MLE?

13

Questa domanda si ispira alla lunga discussione nei commenti qui: in che modo la regressione lineare usa la distribuzione normale?

Nel solito modello di regressione lineare, per semplicità qui scritto con un solo predittore:

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ dove

x_{i}

$x_i$ sono costanti note e

ϵ_{i}

$\epsilon_i$ sono termini di errore indipendenti a media zero. Se inoltre assumiamo distribuzioni normali per gli errori, i soliti stimatori dei minimi quadrati e gli stimatori della massima verosimiglianza di

β_{0}, β_{1}

$\beta_0, \beta_1$ sono identici.

Quindi la mia semplice domanda: esiste qualche altra distribuzione per i termini di errore in modo tale che il mle sia identico allo stimatore dei minimi quadrati ordinari? L'una implicazione è facile da mostrare, l'altra no.

— kjetil b halvorsen
fonte

1

(+1) Dovrebbe essere una distribuzione centrata attorno allo zero, e sembrerebbe che sarebbe di aiuto se fosse simmetrica. Alcuni candidati che vengono in mente, come la distribuzione t- o Laplace, non sembrano fare il trucco poiché l'MLE è, anche nell'unico caso costante, non disponibile in forma chiusa o data dalla mediana, rispettivamente.

— Christoph Hanck,

vedi anche stats.stackexchange.com/questions/99014/… , sembra che ci sia così tanto da trovare

— Christoph Hanck,

Sono sicuro che la risposta è no. Tuttavia, può essere difficile scrivere una prova rigorosa.

— Gordon Smyth,

11

Nella stima della massima probabilità, calcoliamo

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

l'ultima relazione tenendo conto della struttura di linearità dell'equazione di regressione.

In confronto, lo stimatore OLS soddisfa

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

Per ottenere espressioni algebriche identiche per i coefficienti di pendenza dobbiamo avere una densità per il termine di errore tale che

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

Queste sono equazioni differenziali della forma che hanno soluzioni $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

Qualsiasi funzione che ha questo kernel e si integra con l'unità su un dominio appropriato, renderà identici MLE e OLS per i coefficienti di pendenza. Vale a dire che stiamo cercando

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

C'è un tale $g$ che non è la densità normale (o la mezza-normale o la derivata della funzione di errore)?

Certamente. Ma un'altra cosa da considerare è la seguente: se si usa il segno più nell'esponente e, ad esempio, un supporto simmetrico attorno allo zero, si otterrà una densità che ha un minimo unico nel mezzo e due massimi locali a i confini del supporto.

— Alecos Papadopoulos
fonte

Ottima risposta (+1), ma se si usa un segno più nella funzione, è persino una densità? Sembrerebbe quindi che la funzione abbia un integrale infinito e quindi non possa essere normalizzata in una funzione di densità. In tal caso, ci resta solo la distribuzione normale.

— Ripristina Monica il

1

@Ben Grazie. Sembra che tu stia implicitamente supponendo che l'intervallo della variabile casuale sarà più / meno infinito. Ma possiamo definire un camper per un intervallo limitato, nel qual caso possiamo benissimo usare il segno più. Questo è il motivo per cui nelle mie espressioni ho usato come limiti di integrazione

.

(a, b)

$(a,b)$

— Alecos Papadopoulos,

È vero - lo stavo assumendo.

— Ripristina Monica il

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$ such that

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$ is acceptable. This means for instance that densities of the form

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$ are acceptable since the factor

f_{0} (y | x)

$f_0(y|x)$ does not depend on the parameter

(β_{0}, β_{1})

$(\beta_0,\beta_1)$ . There is therefore an infinity of such distributions.

Another setting where both estimators coincide is when the data comes from a spherically symmetric distribution, namely when the (vector) data $\mathbf{y}$ has conditional density

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$ with

h (\cdot)

$h(\cdot)$ a decreasing function. (In this case the OLS is still available although the assumption of the independence of the

ϵ_{i}

$\epsilon_i$ 's only holds in the Normal case.)

— Xi'an
fonte

1

This does not look correct to me. If you use a different spherically symmetric distribution, wouldn't that lead to minimisation of a different function of the norm than the square (thus not being least-squares estimation)?

— Reinstate Monica

1

I didn't know about this question until @Xi'an just updated with an answer. There is a more generic solution. Exponential family distributions with some parameters fixed yield to Bregman divergences. For such distributions mean is the minimizer. OLS minimizer is also the mean. Therefore for all such distributions they should coincide when the linear functional is linked to the mean parameter.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
fonte