Che cosa significa "lineare nei parametri"?

13

Il modello di regressione lineare è lineare nei parametri.

Cosa significa veramente?

regression linear-regression

— Albert Gao
fonte

1

Più riferimento, se possibile? Qualcosa sopra o sotto quella linea (dal testo che hai trovato)?

— Dawny33

Questo sembra, ed è difficile da dire dalla mancanza di contesto, una domanda sulle statistiche, e probabilmente dovrebbe essere in una forma estesa sul sito di stackexchange di statistiche.

— Spacedman,

13

Considera un'equazione del modulo

$y = \beta_0 + \beta_1x_1 + \beta_2x_2 + \epsilon$

dove sono le variabili e i parametri. Qui, y è una funzione lineare di (lineare in parametri) e anche una funzione lineare di 's (lineare in variabili). Se si modifica l'equazione in $x$ $\beta$ $\beta$ $x$

$y = \beta_0 + \beta_1x_1 + \beta_2x_1^2 + \epsilon$

Quindi, non è più lineare nelle variabili (a causa del termine al quadrato) ma è ancora lineare nei parametri. E per la regressione lineare (multipla), questo è tutto ciò che conta perché alla fine, stai cercando di trovare un insieme di che minimizzi una funzione di perdita. Per questo, è necessario risolvere un sistema di equazioni lineari . Date le sue belle proprietà, ha una soluzione a forma chiusa che ci semplifica la vita. Le cose si fanno più difficili quando si affrontano equazioni non lineari. $\beta$

Supponiamo di non avere a che fare con un modello di regressione ma che invece hai un problema di programmazione matematica: stai cercando di minimizzare una funzione obiettiva del modulo soggetto a una serie di vincoli: e . Questo è un problema di programmazione lineare nel senso che è lineare in variabili. A differenza del modello di regressione, stai cercando di trovare un insieme di (variabili) che soddisfi i vincoli e minimizzi la funzione obiettivo. Ciò richiederà anche di risolvere sistemi di equazioni lineari ma qui sarà lineare in variabili. I tuoi parametri non avranno alcun effetto su quel sistema di equazioni lineari. $c^Tx$ $Ax \geq b$ $x\geq0$ $x$

— ayhan
fonte

5

Significa semplicemente che dove sono i parametri. Le variabili potrebbero contenere relazioni non lineari; ad es. $Y = A X$ $A$ $X$ , ancora è una funzione lineare di . $X = [\alpha\; \alpha \beta\; \beta^2]^T$ $Y$ $X$

— Emre
fonte

1

Grazie! Nel tuo contesto, non considera regolarmente X come variabile e A come parametro?

— Albert Gao,

2

Sei sicuro che X sia i parametri? Direi che la matrice A è i parametri. . .

— Neil Slater,

X

$X$

A

$A$

2

Un modello è lineare quando ogni termine è una costante o il prodotto di un parametro e un predittore. Un'equazione lineare viene costruita aggiungendo i risultati per ciascun termine. Ciò limita l'equazione a una sola forma di base:

$Response = constant + parameter * predictor + ... + parameter * predictor$

"Parametri lineari in" nella regressione lineare indica che nessun parametro appare come esponente, né moltiplicato o diviso per un altro parametro.

— Parag Jyoti Dutta
fonte