Regressione lineare e non lineare

Ho una serie di valori ed y che sono teoricamente correlati esponenziale:$x$$y$

$y = ax^b$

Un modo per ottenere i coefficienti è applicare logaritmi naturali su entrambi i lati e applicare un modello lineare:

> fit <- lm(log(y)~log(x))
> a <- exp(fit$coefficients[1])
> b <- fit$coefficients[2]

Un altro modo per ottenere ciò è utilizzare una regressione non lineare, dato un set teorico di valori iniziali:

> fit <- nls(y~a*x^b, start=c(a=50, b=1.3))

I miei test mostrano risultati migliori e più legati alla teoria se applico il secondo algoritmo. Tuttavia, vorrei conoscere il significato statistico e le implicazioni di ciascun metodo.

Quale di loro è meglio?

"Better" è una funzione del tuo modello.

Parte della ragione della tua confusione è che hai scritto solo metà del tuo modello.

$y=ax^b$$y$$ax^b$

Ad esempio, i due modelli citati (non i soli modelli possibili in alcun modo) fanno ipotesi completamente diverse sull'errore.

Probabilmente intendi qualcosa di più vicino $E(Y|X=x) = ax^b\,$.

$Y$$x$

• Quando si adatta il modello dei minimi quadrati non lineari, si afferma che gli errori sono additivi e che la deviazione standard degli errori è costante tra i dati:

  $\: y_i \sim N(ax_i^b,\sigma^2)$

  o equivalentemente

  $\: y_i = ax_i^b + e_i$$\text{var}(e_i) = \sigma^2$

• al contrario, quando si prendono i log e si adatta un modello lineare, si sta dicendo che l'errore è additivo sulla scala del log e (sulla scala del log) costante tra i dati. Ciò significa che sulla scala delle osservazioni, il termine di errore è moltiplicativo e quindi gli errori sono maggiori quando i valori previsti sono maggiori:

  $\: y_i \sim \text{logN}(\log a+b\log x_i,\sigma^2)$

  o equivalentemente

  $\: y_i = ax_i^b \cdot \eta_i$$\eta_i \sim \text{logN}(0,\sigma^2)$

  $\text{E}(\eta)$$\sigma^2$

(Puoi fare i minimi quadrati senza assumere la normalità / distribuzioni lognormali, ma il problema centrale in discussione si applica ancora ... e se non sei in nessun posto vicino alla normalità, dovresti probabilmente considerare comunque un diverso modello di errore)

Quindi, ciò che è meglio dipende dal tipo di modello di errore che descrive le circostanze.

$y$$x$$x$

Quando si adatta uno dei due modelli, si presuppone che l'insieme di residui (discrepanze tra i valori osservati e previsti di Y) segua una distribuzione gaussiana. Se tale presupposto è vero con i tuoi dati non elaborati (regressione non lineare), non sarà vero per i valori trasformati in log (regressione lineare) e viceversa.

Quale modello è "migliore"? Quello in cui i presupposti del modello corrispondono più da vicino ai dati.