Errore gradiente singolare in nls con valori iniziali corretti

Sto cercando di adattare una linea + curva esponenziale ad alcuni dati. Per cominciare, ho provato a farlo su alcuni dati artificiali. La funzione è:

y = un' + B \cdot r^{(X - m)} + c \cdot X

$y=a+b\cdot r^{(x-m)}+c\cdot x$ È effettivamente una curva esponenziale con una sezione lineare, nonché un ulteriore parametro di spostamento orizzontale ( m ). Tuttavia, quando uso la nls()funzione di R ottengo il temuto errore " matrice gradiente singolare alle stime iniziali dei parametri ", anche se uso gli stessi parametri che ho usato per generare i dati in primo luogo.
Ho provato i diversi algoritmi, i diversi valori iniziali e ho cercato di utilizzare optimper ridurre al minimo la somma residua dei quadrati, il tutto inutilmente. Ho letto che una possibile ragione di ciò potrebbe essere una parametrizzazione eccessiva della formula, ma non penso che sia (vero?)
Qualcuno ha un suggerimento per questo problema? O è solo un modello imbarazzante?

Un breve esempio:

#parameters used to generate the data
reala=-3
realb=5
realc=0.5
realr=0.7
realm=1
x=1:11 #x values - I have 11 timepoint data
#linear+exponential function
y=reala + realb*realr^(x-realm) + realc*x
#add a bit of noise to avoid zero-residual data
jitter_y = jitter(y,amount=0.2)
testdat=data.frame(x,jitter_y)

#try the regression with similar starting values to the the real parameters
linexp=nls(jitter_y~a+b*r^(x-m)+c*x, data=testdat, start=list(a=-3, b=5, c=0.5, r=0.7, m=1), trace=T)

Grazie!

r nonlinear-regression nls

— Steiny
fonte

Suggerimento: osserva il coefficiente di

(per una

fissa ) e nota che

ha una famiglia unidimensionale di soluzioni

con

r^{x}

$r^x$

r

$r$

b r^{- m} = constant

$b r^{-m} = \text{constant}$

(b, m)

$(b,m)$

b = r^{m} \cdot constant

$b = r^m \cdot \text{constant}$

— whuber

Questo non è un modello identificato, a meno che

siano in qualche modo vincolati. Penso che richiedere

farebbe il lavoro.

b

$b$

r

$r$

r \in (0, 1)

$r \in (0,1)$

— Macro,

Risposte:

Mi sono morso di recente. Le mie intenzioni erano le stesse, realizzare un modello artificiale e testarlo. Il motivo principale è quello dato da @whuber e @marco. Tale modello non è stato identificato. Per vederlo, ricorda che NLS minimizza la funzione:

Σ_{io = 1}^{n} (y_{io} - un' - B r^{X_{io} - m} - c X_{io})^{2}

$\sum_{i=1}^n(y_i-a-br^{x_i-m}-cx_i)^2$

Supponiamo che sia ridotto al minimo dall'insieme di parametri $(a,b,m,r,c)$ . Non è difficile vedere che l'insieme di parametri $(a,br^{-m},0,r,c)$ darà lo stesso valore della funzione da minimizzare. Quindi il modello non è identificato, cioè non esiste una soluzione unica.

Inoltre, non è difficile capire perché il gradiente sia singolare. Denota

f (un', B, r, m, c, X) = un' + B r^{X - m} + c X

$f(a,b,r,m,c,x)=a+br^{x-m}+cx$

Poi

\frac{\partial f}{\partial B} = r^{X - m}

$\frac{\partial f}{\partial b}=r^{x-m}$

\frac{\partial f}{\partial m} = - B \ln r r^{X - m}

$\frac{\partial f}{\partial m}=-b\ln rr^{x-m}$

e lo otteniamo per tutti $x$

B \ln r \frac{\partial f}{\partial B} + \frac{\partial f}{\partial m} = 0.

$b\ln r\frac{\partial f}{\partial b}+\frac{\partial f}{\partial m}=0.$

Da qui la matrice

\begin{aligned} (\begin{matrix} \nabla f (X_{1}) \\ ⋮ \\ \nabla f (X_{n}) \end{matrix}) \end{aligned}

$\begin{align} \begin{pmatrix} \nabla f(x_1)\\\\ \vdots\\\\ \nabla f(x_n) \end{pmatrix} \end{align}$

non sarà di rango massimo ed è per questo nlsche darà il messaggio di gradiente singolare.

Ho trascorso più di una settimana a cercare bug nel mio codice altrove fino a quando ho notato che il bug principale era nel modello :)

— mpiktas
fonte

Questa è vecchiaia lo so, ma mi chiedo, questo significa che nls non può essere usato su modelli che non sono identificabili? Ad esempio, una rete neurale?

— Conta Zero il

grossa possibilità, lo so, ma potresti scomporlo per meno gente che ricorda il calc? :). inoltre, qual è la soluzione al problema del PO, allora? Rinunciare e tornare a casa?

— theforestecologist

b \cdot r^{x - m}

$b\cdot r^{x-m}$

β \cdot r^{x}

$\beta \cdot r^x$

m

$m$

β

$\beta$

β = b \cdot r^{- m}

$\beta = b\cdot r^{-m}$

@CountZero, sostanzialmente sì, i normali metodi di ottimizzazione fallirebbero se i parametri non fossero stati identificati. Le reti neurali eludono tuttavia questo problema, aggiungendo ulteriori contrasti e utilizzando altri trucchi interessanti.

— mpiktas,

\frac{\partial f}{\partial m} = - b \ln r r^{x - m}

$\frac {\partial f}{\partial m} = -b \ln{r}\ r^{x-m}$

Le risposte sopra sono, ovviamente, corrette. Per quello che vale, oltre alle spiegazioni fornite, se si sta provando questo su un set di dati artificiali, secondo la pagina di aiuto nls che si trova su: http://stat.ethz.ch/R-manual/R-patched/ biblioteca / statistiche / html / nls.html

R's nls non sarà in grado di gestirlo. La pagina di aiuto specifica nello specifico:

avvertimento

Non utilizzare nls su dati artificiali "a zero residuo".

La funzione nls utilizza un criterio di convergenza dell'offset relativo che confronta l'imprecisione numerica alle attuali stime dei parametri con la somma dei quadrati residua. Ciò si comporta bene sui dati del modulo

y = f (x, θ) + eps

(con var (eps)> 0). Non riesce a indicare la convergenza sui dati del modulo

y = f (x, θ)

perché il criterio equivale a confrontare due componenti dell'errore di arrotondamento. Se si desidera testare nls su dati artificiali, aggiungere un componente di rumore, come mostrato nell'esempio seguente.

Quindi, nessun rumore == non va bene per R's nls.

— B_D_Dubbya
fonte

Benvenuto nel sito, @B_D_Dubbya. Mi sono preso la libertà di formattare la tua risposta, spero che non ti dispiaccia. Puoi trovare maggiori informazioni sulla modifica delle risposte sul CV qui .

— gung - Ripristina Monica

Sono a conoscenza di questo problema - quindi uso della funzione "jitter" per aggiungere un po 'di rumore

— steiny