Che cosa è ordinario, nei minimi quadrati ordinari?

Di recente un mio amico mi ha chiesto cosa c'è di così ordinario nei minimi quadrati ordinari. Sembra che non siamo arrivati da nessuna parte nella discussione. Siamo entrambi d'accordo sul fatto che OLS è un caso speciale del modello lineare, ha molti usi, è ben noto ed è un caso speciale di molti altri modelli. Ma è davvero tutto?

Pertanto vorrei sapere:

Da dove viene davvero il nome?
Chi è stato il primo a usare il nome?

— Repmat
fonte

È normale perché ora ci sono altre varianti. Ponderata. Robusta. non lineare. ... Ordinario è come si evita che venga confuso con qualcos'altro.

— EngrStudent

Come una supposizione OLS è probabile che il primo algoritmo in forma numerica sviluppato intorno al 1805 dC . Il nome ordinario è stato probabilmente aggiunto dopo che sono state sviluppate variazioni sul tema.

— Carl,

I minimi quadrati in sono spesso chiamati minimi quadrati ordinari (OLS) perché è stata la prima procedura statistica mai sviluppata intorno al 1800, vedi la storia . È equivalente a minimizzare la norma , . Successivamente, minimi quadrati ponderati, minimizzazione di altre norme (ad es. ), minimi quadrati generalizzati , stima M , minimizzazione bivariata (ad es. Regressione Deming), regressione non parametrica, regressione della massima verosimiglianza, regolarizzazione (ad es. Tikhonov, cresta) e altre problema inverso tecniche e molteplici altri strumenti sono stati sviluppati. Ci sono ancora polemiche su chi l'ha applicato per la prima volta, Gauss o Legendre (vedi $y$ $L_2$ $||Y-f(X)||_2$ $L_1$ link ). Il termine "ordinario" (che implica in ) è stato ovviamente aggiunto ai "minimi quadrati" solo dopo che sono sorti così tanti metodi alternativi che l'OLS (ancora più) popolare ha dovuto essere differenziato dalla pletora di altre minimizzazioni che sono diventate disponibili. Quando aggiungere esattamente i minimi quadrati ordinari sarebbe difficile da rintracciare poiché si è verificato quando è diventato naturale o ovvio farlo. $y$ $+$

— Carl
fonte

Puoi anche contrastare OLS con WLS, minimi quadrati ponderati, che minimizza i quadrati ponderati.

— AdamO,

In realtà è in qualche modo già sotto "altre" norme, ad esempioè ponderato.

| | 1 - \frac{Y}{f (x)} | |

$||1-\frac{Y}{f(x)}||$

— Carl,

Questa è una vecchia domanda, se ricordo bene ero davvero interessato (all'epoca) a capire chi avesse usato il termine OLS ... Immagino che non lo saprò mai ... Buona risposta a +1

— Repmat

Non ho mai sentito "minimi quadrati" usati per descrivere la minimizzazione che non è una norma . (Si noti che "norme energetiche" come quelle utilizzate nella regolarizzazione di Tikhonov sono solo un di un vettore trasformato.) Un termine più generale sarebbe semplicemente "regressione", o forse " stima M ".

L_{2}

$L_2$

L_{2}

$L_2$

— GeoMatt22,

Concordo con @AdamO che il normale rispetto al ponderato * sembra il probabile contrasto. (* Piuttosto, "Generalizzato" . Nella scienza computazionale penso che questo dovrebbe ancora essere chiamato ponderato? Perché una matrice di peso dovrebbe essere diagonale?)

— GeoMatt22