"Minimi quadrati" e "regressione lineare", sono sinonimi?

Qual è la differenza tra minimi quadrati e regressione lineare? È la stessa cosa?

regression least-squares terminology

— bbadyalina
fonte

Direi che i minimi quadrati ordinari sono un metodo di stima all'interno della più ampia categoria di regressione lineare . È possibile però che alcuni autori stiano usando "minimi quadrati" e "regressione lineare" come se fossero intercambiabili.

— Matthew Gunn,

Se stai facendo i minimi quadrati ordinari , userei quel termine. È meno ambiguo.

— Matthew Gunn,

Vedi anche cos'è un modello di regressione .

— Richard Hardy,

Risposte:

La regressione lineare assume una relazione lineare tra la variabile indipendente e quella dipendente. Non ti dice come è montato il modello. Il montaggio meno quadrato è semplicemente una delle possibilità. Altri metodi per addestrare un modello lineare sono nel commento.

I minimi quadrati non lineari sono comuni ( https://en.wikipedia.org/wiki/Non-linear_least_squares ). Ad esempio, il popolare algoritmo Levenberg-Marquardt risolve qualcosa del tipo:

\hat{β} = \underset{β}{argmin} S (β) \equiv \underset{β}{argmin} Σ_{io = 1}^{m} {[y_{io} - f (X_{io}, β)]}^{2}

$\hat\beta=\mathop{\textrm{argmin}}_\beta S(\beta)\equiv \mathop{\textrm{argmin}}_\beta\sum_{i=1}^{m}\left[ y_i-f(x_i,\beta) \right]^2$

È un'ottimizzazione dei minimi quadrati ma il modello non è lineare.

Non sono la stessa cosa .

— Ciao mondo
fonte

Oltre alla risposta corretta di @Student T, voglio sottolineare che i minimi quadrati sono una potenziale funzione di perdita per un problema di ottimizzazione, mentre la regressione lineare è un problema di ottimizzazione.

Dato un determinato set di dati, la regressione lineare viene utilizzata per trovare la migliore funzione lineare possibile, che spiega la connessione tra le variabili.

In questo caso, il "migliore" possibile è determinato da una funzione di perdita, confrontando i valori previsti di una funzione lineare con i valori effettivi nel set di dati. Minimi quadrati è una possibile funzione di perdita.

L'articolo di minimi quadrati di Wikipedia mostra anche le immagini sul lato destro che mostrano l'uso di minimi quadrati per altri problemi oltre alla regressione lineare come:

conica-raccordo
adattamento della funzione quadratica

La seguente gif dell'articolo di Wikipedia mostra diverse funzioni polinomiali adattate a un set di dati usando i minimi quadrati. Solo uno di questi è lineare (polinomio di 1). Questo è tratto dall'articolo di Wikipedia in tedesco sull'argomento.

— Nikolas Rieble
fonte

Possiamo sostenere che gli esempi non lineari nell'animazione sono in realtà ancora lineari nei parametri.

— Firebug

È vero, tuttavia la relazione del modello tra il target e la variabile di input non è lineare. Chiamereste ancora la regressione lineare adatta? Non vorrei.

— Nikolas Rieble,

Dovremmo distinguere tra "minimi quadrati lineari" e "regressione lineare", poiché l'aggettivo "lineare" nei due si riferisce a cose diverse. Il primo si riferisce ad un adattamento che è lineare nei parametri e il secondo si riferisce all'adattamento a un modello che è una funzione lineare delle variabili indipendenti.

— JM non è uno statistico il

@JM Molte fonti sostengono che "lineare" nella regressione "lineare" significa "lineare nei parametri" piuttosto che "lineare nei IV". L'articolo di WIkipedia sulla regressione lineare è un esempio è un esempio. Ecco un altro e un altro . Molti testi statistici fanno lo stesso; Direi che è una convenzione.

— Glen_b

y = m x + b

$y=mx+b$