La minimizzazione dell'errore al quadrato equivale alla minimizzazione dell'errore assoluto? Perché l'errore al quadrato è più popolare di quest'ultimo?

Quando eseguiamo la regressione lineare per adattare un gruppo di punti dati , l'approccio classico minimizza l'errore al quadrato. Sono stato a lungo perplesso da una domanda che minimizzando l'errore al quadrato produrrà lo stesso risultato di minimizzare l'errore assoluto ? In caso contrario, perché è meglio ridurre al minimo l'errore al quadrato? C'è qualche motivo diverso da "la funzione obiettivo è differenziabile"?( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n$y=ax+b$$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$

L'errore al quadrato è anche ampiamente usato per valutare le prestazioni del modello, ma l'errore assoluto è meno popolare. Perché l'errore al quadrato è più comunemente usato dell'errore assoluto? Se l'assunzione di derivati ​​non è implicata, calcolare l'errore assoluto è facile come calcolare l'errore al quadrato, quindi perché l'errore al quadrato è così prevalente ? C'è qualche vantaggio unico che può spiegare la sua prevalenza?

Grazie.

La minimizzazione degli errori quadrati (MSE) non è sicuramente la stessa della minimizzazione delle deviazioni assolute (MAD) degli errori. MSE fornisce la risposta media di condizionata su , mentre MAD fornisce la risposta mediana di condizionata su .$y$$x$$y$$x$

Storicamente, Laplace inizialmente considerava il massimo errore osservato come una misura della correttezza di un modello. Passò presto a considerare MAD invece. A causa della sua incapacità di risolvere esattamente entrambe le situazioni, ha presto considerato il differenziale MSE. Se stesso e Gauss (apparentemente contemporaneamente) derivarono le equazioni normali, una soluzione a forma chiusa per questo problema. Oggi risolvere il MAD è relativamente semplice mediante la programmazione lineare. Come è noto, tuttavia, la programmazione lineare non ha una soluzione a forma chiusa.

Dal punto di vista dell'ottimizzazione, entrambi corrispondono alle funzioni convesse. Tuttavia, MSE è differenziabile, quindi, consentendo metodi basati sul gradiente, molto efficienti rispetto alla loro controparte non differenziabile. MAD non è differenziabile in .$x=0$

Un ulteriore motivo teorico è che, in un contesto bayesiano, assumendo priori uniformi dei parametri del modello, MSE produce normali errori distribuiti, che sono stati presi come prova della correttezza del metodo. Ai teorici piace la distribuzione normale perché credevano che fosse un fatto empirico, mentre agli sperimentali piace perché credono che sia un risultato teorico.

Un'ultima ragione per cui MSE potrebbe aver avuto l'ampia accettazione che ha è che si basa sulla distanza euclidea (in realtà è una soluzione del problema di proiezione su uno spazio di euclide banach) che è estremamente intuitivo data la nostra realtà geometrica.

Come spiegazione alternativa, considerare la seguente intuizione:

Quando si minimizza un errore, dobbiamo decidere come penalizzare questi errori. In effetti, l'approccio più diretto alla penalizzazione degli errori sarebbe quello di utilizzare una linearly proportionalfunzione di penalità. Con tale funzione, ad ogni deviazione dalla media viene dato un errore proporzionale corrispondente. Due volte più lontano dalla media si tradurrebbe quindi in una penalità doppia .

L'approccio più comune è quello di considerare una squared proportionalrelazione tra deviazioni dalla media e la penalità corrispondente. Questo farà in modo che quanto più sei lontano dalla media, tanto più sarai penalizzato. Usando questa funzione di penalità, i valori anomali (lontani dalla media) sono considerati proporzionalmente più informativi delle osservazioni vicine alla media.

Per dare una visualizzazione di questo, puoi semplicemente tracciare le funzioni di penalità:

Ora soprattutto quando si considera la stima delle regressioni (ad es. OLS), diverse funzioni di penalità produrranno risultati diversi. Usando la linearly proportionalfunzione penalità, la regressione assegnerà meno peso agli outlier rispetto a quando si usa la squared proportionalfunzione penalità. La deviazione assoluta mediana (MAD) è quindi nota per essere uno stimatore più solido . In generale, quindi, uno stimatore robusto si adatta bene alla maggior parte dei punti dati ma "ignora" i valori anomali. Un adattamento dei minimi quadrati, in confronto, viene tirato più verso i valori anomali. Ecco una visualizzazione per il confronto:

Ora, anche se OLS è praticamente lo standard, sono sicuramente in uso anche diverse funzioni di penalità. Ad esempio, puoi dare un'occhiata alla funzione robustfit di Matlab che ti consente di scegliere una diversa funzione di penalità (chiamata anche 'peso') per la tua regressione. Le funzioni di penalità includono andrews, bisquare, cauchy, fair, huber, logistic, ols, talwar e welsch. Le loro espressioni corrispondenti sono disponibili anche sul sito Web.

Spero che ti aiuti a ottenere un po 'più di intuizione per le funzioni penali :)

Aggiornare

Se hai Matlab, posso consigliare di giocare con il robustodemo di Matlab , che è stato costruito appositamente per il confronto dei minimi quadrati ordinari con la regressione robusta:

La demo ti consente di trascinare singoli punti e vedere immediatamente l'impatto sia sui minimi quadrati ordinari sia sulla robusta regressione (che è perfetta per scopi didattici!).

Come ha spiegato un'altra risposta, minimizzare l'errore al quadrato non equivale a minimizzare l'errore assoluto.

Il motivo per cui si preferisce ridurre al minimo l'errore al quadrato è perché impedisce meglio errori di grandi dimensioni.

Supponiamo che il reparto stipendi del tuo empoler paghi accidentalmente ciascuno di un totale di dieci dipendenti $ 50 in meno del necessario. Questo è un errore assoluto di $ 500. È anche un errore assoluto di $ 500 se il dipartimento paga solo un dipendente $ 500 in meno. Ma in termini di errore al quadrato, è 25000 contro 250000.

Non è sempre meglio usare l'errore al quadrato. Se si dispone di un set di dati con un outlier estremo a causa di un errore di acquisizione dei dati, minimizzare l'errore al quadrato tirerà l'adattamento verso l'outlier estremo molto più che minimizzare l'errore assoluto. Detto questo, di solito è meglio usare l'errore al quadrato.

In teoria potresti usare qualsiasi tipo di funzione di perdita. Le funzioni di perdita assoluta e quadrata sono solo le funzioni di perdita più popolari e più intuitive. Secondo questa voce di Wikipedia ,

Un esempio comune riguarda la stima della "posizione". In base a ipotesi statistiche tipiche, la media o la media è la statistica per stimare la posizione che minimizza la perdita attesa sperimentata sotto la funzione di perdita di errore al quadrato, mentre la mediana è lo stimatore che minimizza la perdita attesa sperimentata con la funzione di perdita di differenza assoluta. Stimatori ancora diversi sarebbero ottimali in altre circostanze meno comuni.

Come spiegato anche nella voce Wikipedia, la scelta delle funzioni di perdita dipende da come valuti le deviazioni dall'oggetto target. Se tutte le deviazioni sono ugualmente dannose per te, indipendentemente dal loro segno, allora puoi usare la funzione di perdita assoluta. Se le deviazioni peggiorano per te quanto più sei lontano dall'ottimale e non ti importa se la deviazione è positiva o negativa, la funzione di perdita al quadrato è la scelta più semplice. Ma se nessuna delle definizioni di perdita sopra indicate si adatta al tuo problema, perché ad esempio le piccole deviazioni sono peggio per te rispetto alle grandi deviazioni, puoi scegliere una diversa funzione di perdita e provare a risolvere il problema di minimizzazione. Tuttavia, le proprietà statistiche della soluzione potrebbero essere difficili da valutare.

Risposte brevi

1. no
2. la media ha proprietà statistiche più interessanti della mediana