Perché i metodi di regressione Least-Squares e Maximum-Likelihood non sono equivalenti quando gli errori non sono normalmente distribuiti?

11

Il titolo dice tutto. Comprendo che i minimi quadrati e la massima verosimiglianza daranno lo stesso risultato per i coefficienti di regressione se gli errori del modello sono normalmente distribuiti. Ma cosa succede se gli errori non vengono normalmente distribuiti? Perché i due metodi non sono più equivalenti?

— Shuklaswag
fonte

Intendi (a) usare la MLE quando non si verifica l'assunzione della normalità, oppure (b) usare la funzione di verosimiglianza non gaussiana?

— Tim

(a), quando l'assunzione della normalità non è soddisfatta

— Shuklaswag,

Anche quando l'assunzione non è soddisfatta (ovvero i valori osservati non sono distribuiti gaussiani) ... se si calcola l'MLE con l'uso della funzione di verosimiglianza gaussiana, si fa lo stesso dell'ottimizzazione dei minimi quadrati. I metodi di ottimizzazione sono matematicamente equivalenti e indipendenti dal fatto che il presupposto della normalità fosse giusto o meno.

— Sesto Empirico

Anche con distribuzioni normali, i minimi quadrati impongono una varianza fissa.

— Codici InCos

Vedi anche questa domanda correlata: stats.stackexchange.com/questions/173621/…

— kjetil b halvorsen

16

Risposta breve

La densità di probabilità di una variabile distribuita gaussiana multivariata , con media è correlata al quadrato dell'euclideo distanza tra la media e la variabile ( ), ovvero la somma dei quadrati. $x=(x_1, x_2,...,x_n)$ $\mu=(\mu_1,\mu_2,...,\mu_n)$ $\vert \mu-x \vert_2^2$

Risposta lunga

Se moltiplichi più distribuzioni gaussiane per i tuoi errori, dove assumi deviazioni uguali, otterrai una somma di quadrati. $n$

\begin{array}{cl} L (μ_{j}, x_{i j}) = P (x_{i j} | μ_{j}) & = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e x p [- \frac{(x_{i j} - μ_{i})^{2}}{2 σ^{2}}] \\ = {(\frac{1}{\sqrt{2 π σ^{2}}})}^{n} e x p [- \frac{\sum_{i = 1}^{n} (x_{i j} - μ_{i})^{2}}{2 σ^{2}}] \end{array}

$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$

o nella comoda forma logaritmica:

\log (L (μ_{j}, x_{i j})) = n \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (x_{i j} - μ_{j})^{2}

$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$

Quindi l'ottimizzazione di per minimizzare la somma dei quadrati equivale a massimizzare la probabilità (log) (cioè il prodotto di più distribuzioni gaussiane o la distribuzione gaussiana multivariata). $\mu$

È questo quadrato nidificato della differenza all'interno della struttura esponenziale, , che altre distribuzioni non hanno. $(\mu-x)$ $exp\left[ (x_i-\mu)^2 \right]$

Confronta ad esempio con il caso delle distribuzioni di Poisson

\log (L) = \log (\prod \frac{μ_{j}^{x_{i j}}}{x_{i j}!} e x p [- μ_{j}]) = - \sum μ_{j} - \sum l o g (x_{i j}!) + \sum l o g (μ_{j}) x_{i j}

$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$

che ha un massimo quando viene minimizzato quanto segue:

\sum μ_{j} - l o g (μ_{j}) x_{i j}

$\sum \mu_j -log(\mu_j) x_{ij}$

che è una bestia diversa.

Inoltre (storia)

La storia della distribuzione normale (ignorando deMoivre che arriva a questa distribuzione come approssimazione per la distribuzione binomiale) è in realtà la scoperta della distribuzione che rende l'MLE corrispondente al metodo dei minimi quadrati (piuttosto che il metodo dei minimi quadrati è un metodo che può esprimere l'MLE della distribuzione normale, prima è arrivato il metodo dei minimi quadrati, poi è arrivata la distribuzione gaussiana)

Si noti che Gauss, collegando il "metodo della massima verosimiglianza" con il "metodo dei minimi quadrati", ha creato la "distribuzione gaussiana", , come unica distribuzione di errori che ci porta a effettuare questa connessione tra i due metodi. $e^{-x^2}$

Dalla traduzione di Charles Henry Davis (Teoria del movimento dei corpi celesti che si muovono attorno al sole in sezioni coniche. Una traduzione del "Theoria motus" di Gauss, con un'appendice) ...

Gauss definisce:

Di conseguenza, la probabilità da assegnare a ciascun errore sarà espressa da una funzione di che indicheremo con . $\Delta$ $\Delta$ $\psi \Delta$

^{(Italizzazione fatta da me)}

E continua ( nella sezione 177 pp. 258 ):

... da cui si deduce facilmente che deve essere una quantità costante. che indicheremo con . Quindi abbiamo indica la base dei logaritmi iperbolici per e assumendo $\frac{\psi^\prime\Delta}{\Delta}$ $k$
$log ψ Δ = \frac{1}{2} k Δ Δ + Constant$ $\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$ $ψ Δ = x e^{\frac{1}{2} k Δ Δ}$ $\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$ $e$ $Constant = \log x$ $\text{Constant} = \log x$

finendo (dopo la normalizzazione e realizzando ) in $k<0$

$ψ Δ = \frac{h}{\sqrt{π}} e^{- h h Δ Δ}$ $\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$

Scritto da StackExchangeStrike

— Sesto Empirico
fonte

Ricordi da dove hai preso questa conoscenza? Ti dispiacerebbe aggiungere la fonte al tuo post? (Sto facendo fatica a trovare un libro di testo che lo spieghi bene.)

— Joooeey,

@Joooeey Ho aggiunto il titolo della fonte per le citazioni tradotte di Gauss e un link a una delle molte fonti online. Questo testo originale è pesante, ma dovresti trovare trattati più leggeri in qualsiasi descrizione della storia della distribuzione normale.

— Sisto Empirico

Le funzioni di probabilità stanno spuntando in molti posti. Se cerchi fonti in cui ho acquisito questa "conoscenza", immagino di poter dire l'articolo del 1900 di Pearson sul test chi-quadrato in cui la distribuzione normale multivariata viene trattata geometricamente. Inoltre, Fisher ha usato più volte rappresentazioni geometriche (ad esempio questo articolo degli anni '20, sull'efficienza delle stime, in cui confronta l'errore quadratico medio e l'errore assoluto medio e dove parla di superfici in un iperspazio).

— Sesto Empirico

@Joooeey Ho già fatto riferimento a quell'articolo di Fisher qui . E la mia risposta qui usa un punto di vista geometrico per ricavare una proprietà della distribuzione t anche per Fisher (credo l'articolo in cui dimostra la distribuzione t di Gosset o forse un articolo leggermente più avanti).

— Sisto Empirico

5

Perché l'MLE deriva dall'assunzione di residui normalmente distribuiti.

Nota che

{min}_{β} ‖ X β - y ‖^{2}

$\text{min}_\beta~~ \|X \beta - y \|^2$

Non ha significato probabilistico : basta trovare la che minimizza la funzione di perdita al quadrato. Tutto è deterministico e non contiene componenti casuali. $\beta$

Da dove viene il concetto di probabilità e probabilità, è supponiamo

y = X β + ϵ

$y=X\beta + \epsilon$

Dove stiamo considerando come una variabile casuale e è normalmente distribuito. $y$ $\epsilon$

— Haitao Du
fonte

@Matthew Drury perché cambiare la notazione della matrice e aggiungere il segno di somma?

— Haitao Du,

Ho pensato che sarebbe stato chiaro, ma se affermi che un'affermazione non ha un significato probalistico, non puoi usare un'espressione con simboli che sono meglio interpretati come variabili casuali. Il problema di ottimizzazione a cui stai facendo riferimento è in relazione ai dati fissi, l'ho reso esplicito.

— Matthew Drury,

5

I minimi quadrati e la massima probabilità di adattamento (gaussiano) sono sempre equivalenti. Cioè, sono minimizzati dallo stesso insieme di coefficienti.

La modifica dell'assunzione degli errori modifica la funzione di probabilità (massimizzare la probabilità di un modello equivale a massimizzare la probabilità del termine di errore), e quindi la funzione non sarà più minimizzata dallo stesso insieme di coefficienti.

Quindi in pratica i due sono gli stessi, ma in teoria, quando massimizzi una probabilità diversa, otterrai una risposta diversa rispetto ai minimi quadrati

— Sam
fonte

"o sempre equivalente"?

— nbro,

0

Un esempio concreto: supponiamo di prendere una semplice funzione di errore p (1) =. 9, p (-9) = .10. Se prendiamo due punti, allora LS sta andando a prendere la linea attraverso di loro. ML, d'altra parte, supporrà che entrambi i punti siano un'unità troppo alta e quindi prenderà la linea attraverso i punti spostati verso il basso sull'unità.

— Acccumulation
fonte

2

Il tuo esempio non è chiaro; in particolare, è difficile vedere quale modello stai cercando di descrivere o perché ML produrrebbe il risultato che rivendichi. Potresti approfondire ulteriormente in questa risposta?

— whuber

Il modello è che y = mx + b + error, dove error ha il 90% di probabilità di essere +1 e il 10% di essere -9. Dato qualsiasi punto osservato, il punto reale ha una probabilità del 90% di essere un'unità inferiore e una probabilità del 10% di essere nove unità sopra. Pertanto, ML indica che il punto vero è un'unità di seguito. Cosa non capisci al riguardo?

— Accumulo

2

Il tuo commento è utile, ma la tua risposta non descrive ancora il modello in modo chiaro o comprensibile. Potresti incorporare questa spiegazione nella risposta stessa? È un bell'esempio.

— whuber