Perché è importante fare una distinzione tra regressione "lineare" e "non lineare"?

12

Qual è l'importanza della distinzione tra modelli lineari e non lineari? La domanda Modello lineare non lineare o generalizzato: come ti riferisci alla regressione logistica, di Poisson, ecc.? e la sua risposta fu un chiarimento estremamente utile della linearità / non linearità dei modelli lineari generalizzati. Sembra estremamente importante distinguere i modelli lineari da quelli non lineari, ma non mi è chiaro perché? Ad esempio, considera questi modelli di regressione:

\begin{aligned} (1) & E [Y ∣ X] & = β_{0} + β_{1} X \\ (2) & E [Y ∣ X] & = β_{0} + β_{1} X + β_{2} X^{2} \\ (3) & E [Y ∣ X] & = β_{0} + β_{1}^{2} X \\ (4) & E [Y ∣ X] & = {1 + \exp (- [β_{0} + β_{1} X]}^{- 1} \end{aligned}

$\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}$

Entrambi i modelli 1 e 2 sono lineari e le soluzioni a esistono in forma chiusa, facilmente reperibili utilizzando uno stimatore OLS standard. Non è così per i modelli 3 e 4, che non sono lineari perché (alcuni) i derivati di wrt sono ancora funzioni di . $\beta$ $E[Y\mid X]$ $\beta$ $\beta$

Una semplice soluzione per stimare nel modello 3 è linearizzare il modello impostando , stimare utilizzando un modello lineare e quindi calcolare . $\beta_1$ $\gamma = \beta_1^2$ $\gamma$ $\beta_1 = \sqrt{\gamma}$

Per stimare i parametri nel Modello 4, possiamo supporre che segua una distribuzione binomiale (membro della famiglia esponenziale) e, usando il fatto che la forma logistica del modello è il collegamento canonico, linearizza i rh del modello. Questo è stato il contributo fondamentale di Nelder e Wedderburn . $Y$

Ma perché questa non linearità è in primo luogo un problema? Perché non si può semplicemente usare un algoritmo iterativo per risolvere il Modello 3 senza linearizzare usando la funzione radice quadrata o il Modello 4 senza invocare GLM. Sospetto che prima del diffuso potere computazionale, gli statistici stessero provando a linearizzare tutto. Se fosse vero, allora forse i "problemi" introdotti dalla non linearità sono un residuo del passato? Le complicazioni introdotte dai modelli non lineari sono puramente computazionali o esistono altri problemi teorici che rendono i modelli non lineari più difficili da adattare ai dati rispetto ai modelli lineari?

linear-model nonlinear-regression nonlinear

— user1849779
fonte

1

Se si desidera stimare , è sufficiente stimare ( regressione lineare semplice ) e quindi prendere ...

E [Y | X] = β_{0} + β_{1}^{2} X

$E[Y|X] = \beta_0 + \beta_1^2 X$

E [Y | X] = β_{0} + γ X

$E[Y|X] = \beta_0 + \gamma X$

β_{1} = \sqrt{γ}

$\beta_1 = \sqrt{\gamma}$

— Tim

@Tim, grazie per il commento. Ero consapevole di questa trasformazione come una possibilità, ma stavo cercando di porre una domanda in qualche modo diversa. Ho sostanzialmente modificato la domanda, speriamo in meglio.

— user1849779

5

Posso vedere due differenze principali:

la linearità lo rende semplice e robusto. Ad esempio, OLS (lineare) è uno stimatore imparziale in caso di distribuzione di disturbi sconosciuta. In generale, i modelli GLM e non lineari non lo sono. OLS è anche robusto per vari modelli di strutture di errori (effetti casuali, clustering, ecc.) In cui nei modelli non lineari in genere devi assumere l'esatta distribuzione di questi termini.
Risolverlo è facile: solo un paio di moltiplicazioni di matrice + 1 inverso. Ciò significa che puoi quasi sempre risolverlo, anche nei casi in cui la funzione oggettiva è quasi piatta (multicollinearità). I metodi iterativi potrebbero non convergere in tali casi problematici (che, in un certo senso, è una buona cosa). La soluzione facile può o può al giorno d'oggi non è un problema minore. I computer diventano più veloci, ma i dati diventano più grandi. Hai mai provato a eseguire una regressione logit su osservazioni 1G?

Oltre a ciò, i modelli lineari sono più facili da interpretare. Nei modelli lineari effetti marginali pari a coefficienti e sono indipendenti dai valori X (sebbene i termini polinomiali rovinino questa semplicità).

— Ott Toomet
fonte

Ho la distinzione principalmente per convenienza o uso storico.

— Martha,

2

Molti modelli in biologia (e altri campi) sono non lineari, quindi si adattano meglio alla regressione non lineare. La matematica è molto diversa, ovviamente. Ma dal punto di vista dell'analista di dati, c'è davvero solo una differenza importante.

La regressione non lineare richiede valori stimati iniziali per ciascun parametro. Se queste stime iniziali sono lontane, il programma di regressione non lineare può convergere su un minimo falso e dare risultati inutili o fuorvianti.

— Harvey Motulsky
fonte

2

Questo sicuramente fa parte della risposta. Ma, sostenendo che l'unica differenza è qualcosa che equivale a un tecnicismo minore, potresti ridurre eccessivamente i problemi dei modelli non lineari. Ad esempio, alcuni semplici che sorgono in biologia possono avere minimi locali nettamente diversi, tutti vicini ai minimi globali. Questo fondamentale problema qualitativo non viene risolto da una migliore potenza di calcolo o da migliori tecniche di ottimizzazione: la natura stessa di molti modelli non lineari è così diversa dai modelli lineari che richiedono un pensiero profondo sul loro significato e sulla loro interpretazione.

— whuber

1

In primo luogo sostituirò la parola "modello" con la parola "regressione". Penso che per entrambe le parole ci si stia davvero chiedendo quali sono le equazioni rilevanti che definiscono il modello e quali sono le ipotesi rilevanti relative ai valori della variabile dipendente e ai valori previsti dall'equazione / modello. Penso che il termine "modello" sia più standard. Se sei d'accordo, continua a leggere.

Devo davvero questa risposta alle riflessioni sul commento di un collega che è un probabilista e uno statistico di formazione classica. Ha obiettato violentemente a un libro che definisce una regressione polinomiale non lineare e cioè quando ho letto più seriamente i modelli non lineari. Credo che la risposta corretta sia che un modello lineare presupponga che il termine di errore sia gaussiano mentre un modello lineare generalizzato assume una forma più generalizzata per il termine di errore. Se sono una serie di funzioni, allora si può tentare di costruire un modello lineare in . Ad esempio se , otteniamo una regressione polinomiale. È un modello lineare se la differenza $\phi_1, \ldots, \phi_n$ $\phi_1, \ldots, \phi_n$ $\phi_i = x^i$ $\epsilon_i = y_i - \sum a_{ij}x^j$ è gaussiano. Imho, penso che Wikipedia abbia una spiegazione molto ragionevole dei modelli lineari generali. Penso che questa sia la frase chiave - "Il GLM generalizza la regressione lineare consentendo al modello lineare di essere correlato alla variabile di risposta tramite una funzione di collegamento e consentendo all'entità della varianza di ciascuna misura di essere una funzione del suo valore previsto. " Quindi un glm consente un termine di errore più generale. Ciò consente una maggiore flessibilità nella modellazione. Il prezzo ? Il calcolo del modello corretto è più difficile. Uno non ha più un metodo semplice per calcolare i coefficienti. I coefficienti di una regressione lineare possono essere trovati minimizzando una funzione quadratica che ha un mimimum unico. Nelle parole di Borat, per un bagliore, non così tanto. Bisogna calcolare il mle,

— meh
fonte

1

Un modello non lineare può anche supporre che i residui siano campionati da una distribuzione gaussiana. Un semplice esempio è l'attività enzimatica (Y) in funzione della concentrazione del substrato (X). Y = Vmax * X / (Km + X) È comune e ragionevole supporre che i residui siano gaussiani, ma questa è un'equazione non lineare che si adatta alla regressione non lineare.

— Harvey Motulsky,

2

I modelli non lineari comprendono molto più dei GLM. I GLM sono popolari perché sono "quasi" lineari nei parametri: tutta la non linearità è limitata a una funzione di una singola variabile, il "link". Ciò consente soluzioni relativamente efficienti e affidabili. Altri modelli non lineari sono molto meno trattabili. Il concetto di linearità è in gran parte separato dalla natura dei residui, sebbene in alcuni casi sia utile distinguere i residui additivi da altre forme di variazione.

— whuber