Quando si vogliono calcolare derivati ​​numerici, il metodo presentato da Bengt Fornberg qui (e riportato qui ) è molto conveniente (sia preciso che semplice da implementare). Alla data del documento originale del 1988, vorrei sapere se esiste un'alternativa migliore oggi (come (o quasi) semplice e più precisa)?

Panoramica

Buona domanda. C'è un documento intitolato "Migliorare l'accuratezza del metodo di differenziazione della matrice per i punti di collocazione arbitrari" di R. Baltensperger. A mio avviso non è un grosso problema, ma ha un punto (che era già noto prima dell'apparizione nel 2000): sottolinea l'importanza di una rappresentazione accurata del fatto che la derivata della funzione costante $f(x)=1$ dovrebbe essere zero (questo vale esattamente in senso matematico, ma non necessariamente nella rappresentazione numerica).

È semplice vedere che ciò richiede che le somme delle righe delle n-esime matrici derivate $D^{(n)}$ siano zero. È comune applicare questo vincolo regolando la diagonale, ovvero impostando

$$\tag 1 D^{(n)}_{jj} := -\sum_{\substack{i=1\\i \neq j }}^N D_{ij}\,.$$ È chiaro che questa funzione non è valida quando si lavora su un computer a causa di errori di arrotondamento nei calcoli in virgola mobile. La cosa più sorprendente è che questi errori sono ancora più gravi quando si usano le formule analitiche per la matrice derivativa (che sono disponibili per molti punti di collocazione classici, ad esempio Gauss-Lobatto).

Ora, il documento (e i riferimenti in esso) afferma che l'errore della derivata è nell'ordine della deviazione della riga somma da zero. L'obiettivo è quindi di renderli numericamente i più piccoli possibili.

Test numerici

Il punto positivo è che la procedura di Fornberg sembra essere abbastanza buona in questo senso. Nell'immagine seguente ho confrontato il comportamento della prima matrice derivativa, analitica, esatta e quella derivata dall'algoritmo di Fornberg, per un numero variabile di punti di collocazione di Chebyshev-Lobatto.

Ancora una volta, credendo alla dichiarazione nel documento citato, questo implica che l'algoritmo di Fornberg produrrà risultati più accurati per il derivato.

$$\tag 2 f(x) = \frac{1}{1+x^2}\,.$$ $$\tag 3 E_n = \max_{i\in \{0,\ldots,n\}} \bigg| f^\prime(x_i) - \sum_{j=1}^n D_{ij} f(x_j) \bigg|\,.$$ $$\tag 4 \tilde D_{jj} = D_{jj} - \left(\sum_{i=1}^n D_{ji} \right), \qquad \text{for all}\ j\,.$$

Conclusione

In conclusione, il metodo di Fornberg sembra essere abbastanza accurato, nel caso anche di circa 3 ordini di grandezza più accurati dei risultati delle formule analitiche. Questo dovrebbe essere abbastanza preciso per la maggior parte delle applicazioni. Inoltre, questo è notevole perché Fornberg non sembra includere esplicitamente questo fatto nel suo metodo (almeno non c'è menzione nei due articoli di Fornberg).$N=512$

Un altro ordine di grandezza può essere ottenuto per questo esempio attraverso una semplice inclusione dell'Eq. (4). Poiché si tratta di un approccio abbastanza semplice e applicato una sola volta per ogni derivata, non vedo alcun motivo per non utilizzarlo.

Il metodo dal documento Baltensperger - che utilizza un approccio più sofisticato per valutare la somma nell'Eq. (1) al fine di ridurre gli errori di arrotondamento - produce circa lo stesso ordine di grandezza per l'errore. Quindi, almeno per questo esempio, è approssimativamente equivalente al metodo "Adjusted Fornberg" sopra.

Supponendo che si stia tentando di differenziare un'implementazione numerica di una funzione continua, esistono numerosi metodi:

1) Differenziazione automatica. Il metodo più accurato e generale. Doloroso codificare, richiede un sovraccarico dell'operatore e una ricerca dipendente dall'argomento. Mette a carico l'utente la comprensione di questi concetti. Lotta anche con singolarità rimovibili, come la differenziazione di sinc in .$x= 0$

2) Una trasformazione di Chebyshev. Proietta la tua funzione su un arco di polinomi di Chebyshev e differenzia i tre termini ricorrenti. Super veloce, molto preciso. Ma richiede di avere un dominio di interesse supportato in modo compatto; al di fuori del dominio selezionato , la ricorrenza a tre termini è instabile.$[a,b]$

3) Differenziazione finita. Sottovalutato in 1D; vedere i suggerimenti e i trucchi di Nick Higham nel calcolo numerico . L'idea è che se si bilanciano l'errore di troncamento e l'errore di arrotondamento, non è necessario selezionare una dimensione; può essere scelto automaticamente. In Boost, questa idea viene utilizzata per recuperare (per impostazione predefinita) il 6/7 delle cifre corrette per il tipo. (Higham mostra solo l'idea per il caso più semplice di 1/2 delle cifre corrette, ma l'idea è facilmente ampliabile.) I coefficienti sono tratti dalla tabella corretta di Fornberg, ma il passo è scelto partendo dal presupposto che la funzione può essere valutata a 1ULP precisione. Lo svantaggio è che richiede 2 valutazioni di funzione per recuperare metà delle cifre del tipo, 4 per recuperare 3/4 delle cifre, ecc. In 1D, non è un cattivo affare. In dimensioni superiori, è catastrofico.

4) La derivata complessa del passaggio. Usa . Prendi come unità di arrotondamento e questo recupererà quasi ogni bit corretto. Tuttavia, è un po 'imbroglione, perché è generalmente più difficile implementare una funzione nel piano complesso che codificare a mano la sua derivata reale. Ancora un'idea interessante e utile in determinate circostanze.$f'(x) \approx \Im(f(x+ih))$$h$

Io non sono a conoscenza di tutti coloro che hanno migliorato l'algoritmo di Fornberg (si veda anche la sua un po 'più recente della carta ). A parte questo, mi sembra che guardare il suo algoritmo come un modo per calcolare le derivate numeriche non sia giusto. Tutto quello che ha fatto è derivare un algoritmo efficiente per calcolare pesi per metodi a differenza finita. Il vantaggio del suo metodo è che ti dà i pesi per tutti i derivati ​​fino alla derivata desiderata in una volta sola.

Uno schema più semplice

Oltre all'altra mia risposta che riguarda più un'estensione del metodo Fornberg, affronterò qui la domanda per alternative più semplici.

Per questo disegno uno schema alternativo che produce più direttamente i coefficienti derivati ​​dell'interpolazione lagrangiana. La sua implementazione richiede solo poche righe di codice, funziona con griglie arbitrarie e, secondo i miei primi esperimenti, è accurata come quella di Fornberg.

La base dell'implementazione è la derivata del passo immaginario dove è una variabile nell'ordine di precisione della macchina. È noto che la derivata del passo immaginario produce stabilmente valori derivati ​​e non soffre dell'instabilità numerica di un'implementazione della differenza finita con .

$$f'(x) \ = \ \frac{1}{h}\,\text{Im}\big(f(x+ih)\big)\,,$$ $h$$h\rightarrow 0$

Il secondo ingrediente è il polinomio di interpolazione Lagrange sulla griglia valutato con una delle forme baricentriche, ad esempio dove Per usare la derivata a passo complesso, bisogna assicurarsi che queste formule funzionino anche per complessi argomenti . Inoltre, per una data funzione f (x) e vettore dei coefficienti , denotiamo il polinomio di interpolazione attraverso con $L_i(x)$$\{x_1,\ldots, x_N\}$

$$L_i(z) \ = \ \begin{cases}1 & \text{if }z = x_i\\\ \frac{\frac {\mu_i}{z-x_k}}{ \sum_k\frac {\mu_k}{z-x_k} } & \text{otherwise}\,. \end{cases}$$ $\mu_i = \frac{1}{\prod_{k\neq i} (x_i - x_k)}$$z$$f_i = f(x_i)$$(x_1,f_i)$ $$P(x;f) = \sum_{i=1}^N f_i L_i(x)\,.$$

---

Algoritmo

L'algoritmo è illustrato di seguito. Ha gli stessi parametri di input e output di quello di Fornberg, ma è molto più semplice.

Ingresso:

• $x$ : una griglia con N punti griglia distinti
• $ord$ : ordine derivato
• z: un punto in cui la derivata deve essere valutata
• Possibilmente: una funzione o i suoi valori di funzione ai punti della griglia (richiesto solo per la variante di output 2)$f(x)$$f_i$

Inizializzazione

• Inizializzazione dei polinomi di Lagrange tramite interpolazione baricentrica.$L$
• Inizializza una matrice di -matrices , per$N\times N$$D^{(o)}$$o=0, \ldots, ord$
• Impostare , ovvero la matrice unitaria della dimensione$D^{(0)} := I_N$$N\times N$
• Impostare$o := 0$

Algoritmo

Mentre :$o < ord$

• Calcola dal derivato a passaggi complessi per tutti e . Qui, indica la fila -esimo .$D^{(o+1)}_{ik} = CSD \bigg( P\big(x_k; D^{(o)}_{i}\big) \bigg)$$CSD$$i$$k$
  $D^{(o)}_{i}$$i$$D^{(o)}$

• Impostare o = o + 1;

Decidi cosa produrre :

1. Il vettore dei coefficienti di differenza finita nel punto , dove . Questo è quello che fa Fornberg.$d^{(ord)}$$z$$d_i = P(z;D^{(ord)}_i)$

2. La funzione di interpolazione al derivato dell'ordine . Per questo, devi inserire una funzione resp. la funzione valori in all'algoritmo.$p^{(ord)}(x) = \sum_{i=1}^N f(x_i) P(x;D^{(ord)}_i)$$f^{(ord)}(x)$$ord$$f_i$$x_i$

3. Una meta-funzione che restituisce la funzione di interpolazione della variante 2., ma per una funzione arbitraria che deve essere interpolata ai punti della griglia.$\text{diff}(\text{int } ord, \text{function } g)$$g$

Personalmente, mi piace di più la variante 3.

---

Analisi dell'algoritmo

Come Fornberg, questo algoritmo è . Pubblicherò risultati più empirici riguardo l'accuratezza, la stabilità, ecc. Se trovo il tempo.$\mathcal O(ord \cdot N^2)$

Per aumentare la precisione della differenziazione numerica, procedere come segue:

1) Scegli il tuo metodo "standard" preferito di alta precisione basato su un passo h .

2) Calcola il valore del derivato con il metodo scelto in 1) molte volte con passi diversi ma ragionevoli h . Ogni volta che puoi scegliere h come numero casuale dall'intervallo (0,5 * H / 10, 1,5 * H / 10) in cui H è una dimensione del gradino appropriata per il metodo che usi.

3) Media dei risultati.

Il risultato può guadagnare 2-3 ordini di grandezza nell'errore assoluto. il risultato non medio.

https://arxiv.org/abs/1706.10219