Distinzione tra modello lineare e non lineare

13

Ho letto alcune spiegazioni sulle proprietà dei modelli lineari o non lineari, ma a volte non sono sicuro che un modello a portata di mano sia lineare o non lineare. Ad esempio, il seguente modello è lineare o non lineare?

y_{t} = β_{0} + β_{1} B (L; θ) X_{t} + ε_{t}

$y_t=\beta_0 + \beta_1B(L;\theta)X_t+\varepsilon_t$

Con:

B (L; θ) = \sum_{k = 1}^{K} b (k; θ) L^{k}

$B(L;\theta)=\sum_{k=1}^{K}b(k;\theta)L^k$

L^{k} X_{t} = X_{t - k}

$L^kX_t=X_{t-k}$

Dove rappresenta (una decomposizione) funzione polinomiale esponenziale della forma: $b(k;\theta)$

b (k; θ) = \frac{\exp (θ_{1} k + θ_{2} k^{2})}{\sum_{k = 1}^{K} \exp (θ_{1} k + θ_{2} k^{2})}

$b(k;\theta)=\frac{\exp(\theta_1 k+\theta_2k^2)}{\sum_{k=1}^{K}\exp(\theta_1k+\theta_2k^2)}$

Dal mio punto di vista, la mia equazione principale (la prima) è lineare rispetto a , perché questo termine è solo moltiplicato per un peso. Ma direi che la funzione di ponderazione (l'ultima equazione) non è lineare rispetto ai parametri ans . $X_t$ $\theta_1$ $\theta_2$

Qualcuno può spiegarmi se la mia funzione principale è lineare o non lineare e cosa significa per la procedura di stima - devo applicare il metodo dei minimi quadrati lineari o non lineari ?. Inoltre, qual è la caratteristica riconoscibile per mezzo della quale posso sicuramente identificare se una funzione è non lineare o lineare?

linear-model nonlinear-regression nonlinear

— DataMiner
fonte

16

Con le solite definizioni di lineare e non lineare per quanto riguarda la modellazione, non è la linearità rispetto ai predittori che è l'aspetto critico, ma la linearità rispetto ai parametri. Un modello non lineare è non lineare perché non è lineare nei parametri.

Ad esempio, la prima frase qui dice:

In statistica, la regressione non lineare è una forma di analisi di regressione in cui i dati osservativi sono modellati da una funzione che è una combinazione non lineare dei parametri del modello e dipende da una o più variabili indipendenti.

$\eta$

$\theta$ $\theta$

— Glen_b -Restate Monica
fonte

9

Sono d'accordo con Glen_b. Nei problemi di regressione, l'attenzione principale è sui parametri e non sulla variabile indipendente o sul predittore, x. E poi si può decidere se si desidera linearizzare il problema utilizzando semplici trasformazioni o procedere come tale.

$y = ax + bx^2 + cx^3 + d x^{2/3} + e/x + f x^{-4/7}$ $x$ $x$ $a$ $b$ $c$ $f$

$y = \exp(ax)$ $\exp(ax) = 1 + ax/ 1! + (ax)^2 / 2! + \dots$

$y = a / (1+b \exp(cx)$ $a$ $b$ $c$ $b$ $c$ $(a/y)-1 = Y$

$y = a_1 / (1+b_1\exp(c_1x)) + a_2 / (1+b_2\exp(c_2x))$

In linea di principio, utilizzare una strategia lineare per risolvere un problema di regressione non lineare non è una buona idea. Quindi, affronta i problemi lineari (quando tutti i parametri hanno potenza 1) usando la regressione lineare e adotta la regressione non lineare se i tuoi parametri non sono lineari.

$\beta_0$ $\beta_1$ $\theta_1$ $\theta_2$

Adottare una tecnica dei minimi quadrati non lineari per risolverlo. Scegli i valori iniziali in modo intelligente e utilizza un approccio a più fasi per trovare i minimi globali.

Questa vide sarà utile (anche se non parla di soluzione globale): http://www.youtube.com/watch?v=3Fd4ukzkxps

Utilizzo del risolutore non lineare GRG nel foglio di calcolo di Excel (installare il pacchetto di strumenti del risolutore andando su opzioni - Componenti aggiuntivi - Componenti aggiuntivi di Excel e quindi scegliendo il componente aggiuntivo Risolutore) e invocando il multistart nell'elenco delle opzioni prescrivendo gli intervalli ai parametri e richiedendo la precisione del vincolo e la convergenza devono essere piccole, una soluzione globale può essere ottenuta.

Se si utilizza Matlab, utilizzare la casella degli strumenti di ottimizzazione globale. Ha opzioni multistart e globalsearch. Alcuni codici sono disponibili qui per una soluzione globale, qui e qui .

Se stai usando Mathematica, guarda qui .

Se stai usando R, prova qui .

— Bipi
fonte

1

Grazie, @Bipi, per gli esempi! Per il tuo secondo, se imposti Y = (a / y - 1), come puoi isolare il parametro dalla variabile y?

— Vivek Subramanian,

0

La funzione principale è lineare.

$B(L;\theta)$

Procederei con un minimo quadrato se fossi in te.

Ecco come confermare o negare la linearità:

https://en.wikipedia.org/wiki/Non-linear#Definition

Potrebbe piacerti anche:

https://en.wikipedia.org/wiki/Linear_combination

https://en.wikipedia.org/wiki/Least_squares

http://en.m.wikipedia.org/wiki/Linear_least_squares_(mathematics)

— Ace Frahm
fonte

0

Sarà facile da capire, se lo spiego nel contesto delle funzioni.

Lineare: una funzione che ha una pendenza costante. Algebricamente, un polinomio con il massimo esponente uguale a 1. È una funzione il cui grafico è una linea. Per esempio,y=2x+3

Non lineare: una funzione che ha proprietà opposte di una funzione lineare. Una funzione che ha una pendenza variabile. È un polinomio con esponente pari a 2 o più. Il suo grafico non è una linea. Per esempio,y=x^2

[ http://study.com/academy/lesson/nonlinear-function-definition-examples.html[[1]

— Irfanullah
fonte

I modelli statistici lineari non sono gli stessi delle funzioni lineari. Una funzione non lineare con rumore additivo può essere comunque un modello lineare poiché la linearità è determinata dai parametri del modello e non dalle variabili predittive.

— Michael R. Chernick,