Utilizzando MLE vs. OLS

Quando è preferibile utilizzare la stima della massima verosimiglianza invece dei minimi quadrati ordinari? Quali sono i punti di forza e le limitazioni di ciascuno? Sto cercando di raccogliere conoscenze pratiche su dove usarli in situazioni comuni.

regression maximum-likelihood least-squares

— user38133
fonte

Come spiegato qui , OLS è solo un'istanza particolare di MLE. Ecco una domanda strettamente correlata, con una derivazione di OLS in termini di MLE.

La distribuzione condizionale corrisponde al tuo modello di rumore (per OLS: gaussiano e la stessa distribuzione per tutti gli ingressi). Esistono altre opzioni (t-Student per gestire i valori anomali o consentire alla distribuzione del rumore di dipendere dall'input )

— jpmuc
fonte

t

$t$

L'OLS è un metodo di approssimazione / stima che minimizza la distanza, mentre ML è un metodo di massimizzazione della "probabilità". OLS non ha bisogno di ipotesi stocastiche per fornire la sua soluzione per minimizzare la distanza, mentre ML inizia assumendo una funzione di densità / massa di probabilità congiunta. Il fatto che in alcune circostanze i due forniscano la stessa soluzione, non rende l'una un'istanza particolare dell'altra.

— Alecos Papadopoulos,