Come distinguere i modelli di regressione lineare e non lineare?

27

Stavo leggendo il seguente link sulla regressione non lineare SAS Non lineare . La mia comprensione dalla lettura della prima sezione "Regressione non lineare vs. regressione lineare" era che l'equazione di seguito è in realtà una regressione lineare, è corretto? Se sì, perché?

y = b_{1} x^{3} + b_{2} x^{2} + b_{3} x + c

$y = b_1x^3 + b_2x^2 + b_3x + c$

Devo anche capire che nella regressione non lineare la multicollinearità non è un problema? So che la multicollinearità può essere un problema nella regressione lineare, quindi se il modello sopra fosse in realtà una regressione lineare, ci sarebbe multicollinearità?

— mHelpMe
fonte

Strettamente correlato: stats.stackexchange.com/questions/33876 .

— whuber

Anche correlato: che cosa significa "curvilineo"?

— gung - Ripristina Monica

35

Esistono (almeno) tre sensi in cui una regressione può essere considerata "lineare". Per distinguerli, iniziamo con un modello di regressione estremamente generale

Y = f (X, θ, ε) .

$Y = f(X,\theta,\varepsilon).$

Per semplificare la discussione, prendi le variabili indipendenti da fissare e misurare con precisione (anziché variabili casuali). Modellano osservazioni di attributi ciascuna, dando luogo alla -vettore di risposte . Convenzionalmente, è rappresentato come una matrice e come colonna -vettore. Il ( vettore finito ) comprende i parametri . è una variabile casuale a valori vettoriali. Di solito ha $X$ $n$ $p$ $n$ $Y$ $X$ $n\times p$ $Y$ $n$ $q$ $\theta$ $\varepsilon$ $n$ componenti, ma a volte ne ha meno. La funzione valore vettoriale (con componenti che corrispondono a ) e di solito è considerata continua negli ultimi due argomenti ( e ). $f$ $n$ $Y$ $\theta$ $\varepsilon$

L'esempio archetipico , di adattare una linea ai dati , è il caso in cui è un vettore di numeri - i valori x; è un vettore parallelo di numeri ; fornisce l'intercetta e la pendenza ; e è un vettore di "errori casuali" i cui componenti sono indipendenti (e di solito si presume che abbiano distribuzioni identiche ma sconosciute di zero medio). Nella notazione precedente, $(x,y)$ $X$ $(x_i,\,i=1,2,\ldots,n)$ $Y$ $n$ $(y_i)$ $\theta = (\alpha,\beta)$ $\alpha$ $\beta$ $\varepsilon = (\varepsilon_1,\varepsilon_2,\ldots,\varepsilon_n)$

y_{i} = α + β x_{i} + ε_{i} = f (X, θ, ε)_{i}

$y_i = \alpha + \beta x_i +\varepsilon_i = f(X,\theta,\varepsilon)_i$

con . $\theta = (\alpha,\beta)$

La funzione di regressione può essere lineare in uno (o tutti) i suoi tre argomenti:

"Regressione lineare, o" modello lineare ", significa in genere che è lineare in funzione dei parametri . Il significato di" regressione non lineare " in SAS è in questo senso, con l'ipotesi che sia differenziabile nel suo secondo argomento (i parametri). Questo presupposto semplifica la ricerca di soluzioni. $f$ $\theta$ $f$
A "relazione lineare tra e " mezzi è lineare in funzione di . $X$ $Y$ $f$ $X$
Un modello presenta errori additivi quando è lineare in . In tali casi si presume sempre che . (Altrimenti, non sarebbe giusto pensare a come "errori" o "deviazioni" da valori "corretti".) $f$ $\varepsilon$ $\mathbb{E}(\varepsilon) = 0$ $\varepsilon$

Ogni possibile combinazione di queste caratteristiche può accadere ed è utile. Analizziamo le possibilità.

Un modello lineare di una relazione lineare con errori additivi. Questa è una regressione ordinaria (multipla), già esposta sopra e più generalmente scritta come

$Y = X θ + ε .$ $Y = X\theta + \varepsilon.$
$X$ è stato aumentato, se necessario, contiguo a una colonna di costanti e è un vettore. $\theta$ $p$
Un modello lineare di una relazione non lineare con errori additivi. Questo può essere definito come una regressione multipla aumentando le colonne di con funzioni non lineari di stesso. Per esempio, $X$ $X$

$y_{io} = α + β X_{io}^{2} + ε$ $y_i = \alpha + \beta x_i^2 + \varepsilon$
è di questa forma. È lineare in ; ha errori additivi; ed è lineare nei valori anche se è una funzione non lineare di . $\theta=(\alpha,\beta)$ $(1,x_i^2)$ $x_i^2$ $x_i$
Un modello lineare di una relazione lineare con errori non additivi. Un esempio è l'errore moltiplicativo,

$y_{io} = (α + β X_{io}) ε_{io} .$ $y_i = (\alpha + \beta x_i)\varepsilon_i.$
(In questi casi, può essere interpretato come "errori moltiplicativi" quando la posizione di è Tuttavia, il senso corretto della posizione non è necessariamente l'attesa : potrebbe essere la media o la media geometrica, per esempio. Un commento simile sulle ipotesi di localizzazione si applica, mutatis mutandis , anche in tutti gli altri contesti di errore non additivo.) $\varepsilon_i$ $\varepsilon_i$ $1$ $\mathbb{E}(\varepsilon_i)$
Un modello lineare di una relazione non lineare con errori non additivi. Ad esempio ,

$y_{io} = (α + β X_{io}^{2}) ε_{io} .$ $y_i = (\alpha + \beta x_i^2)\varepsilon_i.$
Un modello non lineare di una relazione lineare con errori additivi. Un modello non lineare comporta combinazioni dei suoi parametri che non solo sono non lineari, ma non possono nemmeno essere linearizzate riesprimendo i parametri.
- A titolo di esempio, prendere in considerazione
  
  $y_{io} = α β + β^{2} X_{io} + ε_{io} .$ $y_i = \alpha\beta + \beta^2 x_i + \varepsilon_i.$
  Definendo e e limitando , questo modello può essere riscritto $\alpha^\prime = \alpha\beta$ $\beta^\prime=\beta^2$ $\beta^\prime \ge 0$
  
  $y_{io} = α^{'} + β^{'} X_{io} + ε_{io},$ $y_i = \alpha^\prime + \beta^\prime x_i + \varepsilon_i,$
  esibendolo come un modello lineare (di una relazione lineare con errori additivi).
- Ad esempio, considera
  
  $y_{io} = α + α^{2} X_{io} + ε_{io} .$ $y_i = \alpha + \alpha^2 x_i + \varepsilon_i.$
  È impossibile trovare un nuovo parametro , a seconda di , che linearizzerà questo come una funzione di (mantenendolo lineare anche in ). $\alpha^\prime$ $\alpha$ $\alpha^\prime$ $x_i$
Un modello non lineare di una relazione non lineare con errori additivi.

$y_{io} = α + α^{2} X_{io}^{2} + ε_{io} .$ $y_i = \alpha + \alpha^2 x_i^2 + \varepsilon_i.$
Un modello non lineare di una relazione lineare con errori non additivi.

$y_{io} = (α + α^{2} X_{io}) ε_{io} .$ $y_i = (\alpha + \alpha^2 x_i)\varepsilon_i.$
Un modello non lineare di una relazione non lineare con errori non additivi.

$y_{io} = (α + α^{2} X_{io}^{2}) ε_{io} .$ $y_i = (\alpha + \alpha^2 x_i^2)\varepsilon_i.$

Sebbene presentino otto distinte forme di regressione, non costituiscono un sistema di classificazione poiché alcune forme possono essere convertite in altre. Un esempio standard è la conversione di un modello lineare con errori non additivi (si presume che abbia un supporto positivo)

y_{io} = (α + β X_{io}) ε_{io}

$y_i = (\alpha + \beta x_i)\varepsilon_i$

in un modello lineare di una relazione non lineare con errori additivi tramite il logaritmo,

\log (y_{io}) = μ_{io} + \log (α + β X_{io}) + (\log (ε_{io}) - μ_{io})

$\log(y_i) = \mu_i + \log(\alpha + \beta x_i) + (\log(\varepsilon_i) - \mu_i)$

Qui, la media geometrica del registro è stata rimossa dai termini di errore (per garantire che abbiano zero medie, come richiesto) e incorporata negli altri termini (dove dovrà essere stimato il suo valore). In effetti, uno dei motivi principali per riesprimere la variabile dipendente è quello di creare un modello con errori additivi. La riespressione può anche linearizzare in funzione di uno (o entrambi) dei parametri e delle variabili esplicative. $\mu_i = \mathbb{E}\left(\log(\varepsilon_i)\right)$ $Y$ $Y$

collinearità

La collinearità (dei vettori di colonna in ) può essere un problema in qualsiasi forma di regressione. La chiave per capirlo è riconoscere che la collinearità porta a difficoltà nella stima dei parametri. In modo astratto e abbastanza generale, confronta due modelli e dove è con una colonna leggermente cambiato. Se questo induce enormi cambiamenti nelle stime e , allora ovviamente abbiamo un problema. Un modo in cui può sorgere questo problema è in un modello lineare, lineare in $X$ $Y = f(X,\theta,\varepsilon)$ $Y=f(X^\prime,\theta,\varepsilon^\prime)$ $X^\prime$ $X$ $\hat\theta$ $\hat\theta^\prime$ $X$ (cioè, tipo (1) o (5) di cui sopra), in cui i componenti di sono in uno-a-uno corrispondenza con le colonne di . Quando una colonna è una combinazione lineare non banale delle altre, la stima del parametro corrispondente può essere qualsiasi numero reale. Questo è un esempio estremo di tale sensibilità. $\theta$ $X$

Da questo punto di vista dovrebbe essere chiaro che la collinearità è un potenziale problema per i modelli lineari di relazioni non lineari (indipendentemente dall'additività degli errori) e che questo concetto generalizzato di collinearità è potenzialmente un problema in qualsiasi modello di regressione. Quando si hanno variabili ridondanti, si riscontrano problemi nell'identificazione di alcuni parametri.

— whuber
fonte

puoi consigliarmi una lettura concisa e introduttiva che mi aiuterà a capire meglio la linearizzazione che citi, che è il cuore della differenza tra il tuo esempio e il non esempio al punto 5. Grazie.

— ColorStatistics

@Color Non ne ho familiarità. Sotto lievi ipotesi sulla differenziabilità delle possibili trasformazioni, questo è affrontato dalla teoria delle equazioni differenziali parziali (PDE).

— whuber

0

Dovresti iniziare subito facendo la differenza tra la realtà e il modello che stai usando per descriverlo

L'equazione che hai appena menzionato è un'equazione polinomiale (x ^ potenza) cioè. non lineare ... ma puoi comunque modellarlo usando un modello lineare generlizzato (usando una funzione link) o regressione polinomail poiché i parametri sono lineari (b1, b2, b3, c)

spero che abbia aiutato, in realtà è un po 'impreciso: realtà / modello

— Po Stulat
fonte

3

Questo può essere stimato tramite minimi quadrati ordinari poiché il modello ha parametri lineari.

— Analista,

quindi ha tutto a che fare con i parametri? se noi b3 ^ 2 * x sarebbe ancora lineare?

— mHelpMe

0

Un modello è lineare se è lineare nei parametri o può essere trasformato per essere lineare nei parametri (linearizzabile). I modelli lineari possono modellare relazioni lineari o non lineari. Espandiamoci su ciascuno di questi.

Un modello è lineare nei parametri se può essere scritto come la somma dei termini, dove ogni termine è una costante o un parametro che moltiplica un predittore (X _i ):

Si noti che questa definizione è molto stretta. Solo i modelli che soddisfano questa definizione sono lineari. Ogni altro modello è non lineare.

Esistono due tipi di modelli lineari che sono confusi per i modelli non lineari:

1. Modelli lineari di relazioni non lineari

Ad esempio, il modello seguente modella una relazione non lineare (poiché la derivata di Y rispetto a X ₁ è una funzione di X ₁ ). Creando una nuova variabile W ₁ = X ₁² e riscrivendo l'equazione con W ₁ sostituendo X ₁² , abbiamo un'equazione che soddisfa la definizione di un modello lineare.

2. Modelli che non sono immediatamente lineari ma che possono diventare lineari dopo una trasformazione (linearizzabili). Di seguito sono riportati 2 esempi di modelli linearizzabili:

Esempio 1:

Questo modello può sembrare non lineare perché non soddisfa la definizione di un modello lineare nei parametri, tuttavia può essere trasformato in un modello lineare, quindi è linearizzabile / trasformabile lineare ed è quindi considerato lineare modello. Le seguenti trasformazioni lo linearizzerebbero. Inizia prendendo il logaritmo naturale di entrambe le parti per ottenere:

quindi effettuare le seguenti sostituzioni:

per ottenere il modello lineare di seguito:

Esempio 2:

Questo modello può sembrare non lineare perché non soddisfa la definizione di un modello lineare nei parametri, tuttavia può essere trasformato in un modello lineare, quindi è linearizzabile / trasformabile lineare ed è quindi considerato lineare modello. Le seguenti trasformazioni lo linearizzerebbero. Inizia prendendo il reciproco di entrambe le parti per ottenere:

quindi effettuare le seguenti sostituzioni:

per ottenere il modello lineare di seguito:

Qualsiasi modello che non sia lineare (nemmeno attraverso la linearizzazione) non è lineare. Pensala in questo modo: se un modello non soddisfa la definizione di un modello lineare, allora è un modello non lineare, a meno che non si possa dimostrare che sia linearizzabile, a quel punto guadagna il diritto di essere chiamato modello lineare.

La risposta di Whuber sopra e la risposta di Glen_b in questo link aggiungeranno più colore alla mia risposta. Modello lineare non lineare o generalizzato: come ti riferisci alla regressione logistica, di Poisson, ecc.?

— ColorStatistics
fonte