Esistono (almeno) tre sensi in cui una regressione può essere considerata "lineare". Per distinguerli, iniziamo con un modello di regressione estremamente generale
Y= f( X,θ,ε).
Per semplificare la discussione, prendi le variabili indipendenti da fissare e misurare con precisione (anziché variabili casuali). Modellano osservazioni di attributi ciascuna, dando luogo alla -vettore di risposte . Convenzionalmente, è rappresentato come una matrice e come colonna -vettore. Il ( vettore finito ) comprende i parametri . è una variabile casuale a valori vettoriali. Di solito han p n Y X n × p Y n q θXnpnYXn×pYnqθnεncomponenti, ma a volte ne ha meno. La funzione valore vettoriale (con componenti che corrispondono a ) e di solito è considerata continua negli ultimi due argomenti ( e ).n Y θ εfnYθε
L'esempio archetipico , di adattare una linea ai dati , è il caso in cui è un vettore di numeri - i valori x; è un vettore parallelo di numeri ; fornisce l'intercetta e la pendenza ; e è un vettore di "errori casuali" i cui componenti sono indipendenti (e di solito si presume che abbiano distribuzioni identiche ma sconosciute di zero medio). Nella notazione precedente,X ( x i ,(x,y)XY n ( y i ) θ = ( α , β ) α β ε = ( ε 1 , ε 2 , … , ε n )(xi,i=1,2,…,n)Yn(yi)θ=(α,β)αβε=(ε1,ε2,…,εn)
yi=α+βxi+εi=f(X,θ,ε)i
con .θ=(α,β)
La funzione di regressione può essere lineare in uno (o tutti) i suoi tre argomenti:
"Regressione lineare, o" modello lineare ", significa in genere che è lineare in funzione dei parametri . Il significato di" regressione non lineare " in SAS è in questo senso, con l'ipotesi che sia differenziabile nel suo secondo argomento (i parametri). Questo presupposto semplifica la ricerca di soluzioni.θ ff θf
A "relazione lineare tra e " mezzi è lineare in funzione di .Y f XXYfX
Un modello presenta errori additivi quando è lineare in . In tali casi si presume sempre che . (Altrimenti, non sarebbe giusto pensare a come "errori" o "deviazioni" da valori "corretti".)ε E ( ε ) = 0 εfεE (ε)=0ε
Ogni possibile combinazione di queste caratteristiche può accadere ed è utile. Analizziamo le possibilità.
Un modello lineare di una relazione lineare con errori additivi. Questa è una regressione ordinaria (multipla), già esposta sopra e più generalmente scritta come
Y= Xθ + ε .
θ pX è stato aumentato, se necessario, contiguo a una colonna di costanti e è un vettore.θp
Un modello lineare di una relazione non lineare con errori additivi. Questo può essere definito come una regressione multipla aumentando le colonne di con funzioni non lineari di stesso. Per esempio,XXX
yio= α + βX2io+ ε
è di questa forma. È lineare in ; ha errori additivi; ed è lineare nei valori anche se è una funzione non lineare di .( 1 , x 2 i ) x 2 i x iθ = ( α , β)( 1 , x2io)X2ioXio
Un modello lineare di una relazione lineare con errori non additivi. Un esempio è l'errore moltiplicativo,
yio= ( α + βXio) εio.
(In questi casi, può essere interpretato come "errori moltiplicativi" quando la posizione di è Tuttavia, il senso corretto della posizione non è necessariamente l'attesa : potrebbe essere la media o la media geometrica, per esempio. Un commento simile sulle ipotesi di localizzazione si applica, mutatis mutandis , anche in tutti gli altri contesti di errore non additivo.)ε i 1 E ( ε i )εioεio1E ( εio)
Un modello lineare di una relazione non lineare con errori non additivi. Ad esempio ,
yio= ( α + βX2io) εio.
Un modello non lineare di una relazione lineare con errori additivi. Un modello non lineare comporta combinazioni dei suoi parametri che non solo sono non lineari, ma non possono nemmeno essere linearizzate riesprimendo i parametri.
A titolo di esempio, prendere in considerazione
yio= α β+ β2Xio+ εio.
Definendo e e limitando , questo modello può essere riscrittoβ ′ = β 2 β ′ ≥ 0α'= α ββ'= β2β'≥ 0
yio= α'+ β'Xio+ εio,
esibendolo come un modello lineare (di una relazione lineare con errori additivi).
Ad esempio, considera
yio= α + α2Xio+ εio.
È impossibile trovare un nuovo parametro , a seconda di , che linearizzerà questo come una funzione di (mantenendolo lineare anche in ). α α ′ x iα'αα'Xio
Un modello non lineare di una relazione non lineare con errori additivi.
yio= α + α2X2io+ εio.
Un modello non lineare di una relazione lineare con errori non additivi.
yio= ( α + α2Xio) εio.
Un modello non lineare di una relazione non lineare con errori non additivi.
yio= ( α + α2X2io) εio.
Sebbene presentino otto distinte forme di regressione, non costituiscono un sistema di classificazione poiché alcune forme possono essere convertite in altre. Un esempio standard è la conversione di un modello lineare con errori non additivi (si presume che abbia un supporto positivo)
yio= ( α + βXio) εio
in un modello lineare di una relazione non lineare con errori additivi tramite il logaritmo,
log( yio) = μio+ log( α + βXio) + ( log( εio) - μio)
Qui, la media geometrica del registro è stata rimossa dai termini di errore (per garantire che abbiano zero medie, come richiesto) e incorporata negli altri termini (dove dovrà essere stimato il suo valore). In effetti, uno dei motivi principali per riesprimere la variabile dipendente è quello di creare un modello con errori additivi. La riespressione può anche linearizzare in funzione di uno (o entrambi) dei parametri e delle variabili esplicative. Y Yμio= E ( log( εio) )YY
collinearità
La collinearità (dei vettori di colonna in ) può essere un problema in qualsiasi forma di regressione. La chiave per capirlo è riconoscere che la collinearità porta a difficoltà nella stima dei parametri. In modo astratto e abbastanza generale, confronta due modelli e dove è con una colonna leggermente cambiato. Se questo induce enormi cambiamenti nelle stime e , allora ovviamente abbiamo un problema. Un modo in cui può sorgere questo problema è in un modello lineare, lineare inY = f ( X , θ , ε ) Y = f ( X ' , θ , ε ' ) X ' X θ θ ' X θ XXY= f( X, θ , ε )Y= f( X', θ , ε')X'X θ^θ^'X(cioè, tipo (1) o (5) di cui sopra), in cui i componenti di sono in uno-a-uno corrispondenza con le colonne di . Quando una colonna è una combinazione lineare non banale delle altre, la stima del parametro corrispondente può essere qualsiasi numero reale. Questo è un esempio estremo di tale sensibilità.θX
Da questo punto di vista dovrebbe essere chiaro che la collinearità è un potenziale problema per i modelli lineari di relazioni non lineari (indipendentemente dall'additività degli errori) e che questo concetto generalizzato di collinearità è potenzialmente un problema in qualsiasi modello di regressione. Quando si hanno variabili ridondanti, si riscontrano problemi nell'identificazione di alcuni parametri.