Una rete neurale può imparare un derivato funzionale e funzionale?

Comprendo che le reti neurali (NN) possono essere considerate approssimatori universali di entrambe le funzioni e i loro derivati, sotto determinate ipotesi (sia sulla rete che sulla funzione da approssimare). In effetti, ho fatto una serie di test su funzioni semplici, ma non banali (ad es. Polinomi), e sembra che io possa effettivamente approssimarle bene e i loro primi derivati ​​(un esempio è mostrato sotto).

Ciò che non mi è chiaro, tuttavia, è se i teoremi che portano a quanto sopra si estendono (o forse potrebbero essere estesi) ai funzionali e ai loro derivati ​​funzionali. Si consideri, ad esempio, il funzionale: con la derivata funzionale: dove dipende interamente, e non banalmente, da . Un NN può imparare la mappatura sopra e la sua derivata funzionale? Più specificamente, se si discretizza il dominio su e si fornisce (nei punti discretizzati) come input e

Ho fatto una serie di test e sembra che un NN possa effettivamente imparare la mappatura , in una certa misura. Tuttavia, mentre l'accuratezza di questa mappatura è OK, non è eccezionale; e preoccupante è che il derivato funzionale calcolato è immondizia completa (sebbene entrambi questi potrebbero essere correlati a problemi con la formazione, ecc.). Di seguito è mostrato un esempio.$F[f(x)]$

Se un NN non è adatto per l'apprendimento di un derivato funzionale e funzionale, esiste un altro metodo di apprendimento automatico che è?

Esempi:

(1) Di seguito è riportato un esempio di approssimazione di una funzione e della sua derivata: A NN è stato addestrato per apprendere la funzione nell'intervallo [-3,2]: da cui un ragionevole si ottiene l' approssimazione a : si noti che, come previsto, l'approssimazione NN ad e la sua prima derivata migliorano con il numero di punti di allenamento, l'architettura NN, poiché si ottengono minimi migliori durante l'allenamento, ecc.$f(x) = x^3 + x + 0.5$d f ( x ) / d x$df(x)/dx$$f(x)$

(2) Di seguito è riportato un esempio di approssimazione di una derivata funzionale e funzionale: A NN è stato addestrato per apprendere la funzionale . Dati di addestramento sono stati ottenuti utilizzando funzioni della forma , dove e sono stati generati in modo casuale. Il seguente diagramma illustra che l'NN è effettivamente in grado di approssimare abbastanza bene : I derivati ​​funzionali calcolati, tuttavia, sono spazzatura completa; un esempio (per una specifica ) è mostrato di seguito: Come nota interessante, l'approssimazione di NN a$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$f ( x ) F [ f ( x ) ]$f(x)$$F[f(x)]$ sembra migliorare con il numero di punti di allenamento, ecc. (come nell'esempio (1)), ma la derivata funzionale no.

Questa è una buona domanda Penso che implichi prove teoriche matematiche. Ho lavorato con Deep Learning (fondamentalmente rete neurale) per un po '(circa un anno), e sulla base delle mie conoscenze di tutti gli articoli che ho letto, non ho ancora visto prove su questo. Tuttavia, in termini di prove sperimentali, penso di poter fornire un feedback.

Consideriamo questo esempio di seguito:

In questo esempio, credo attraverso la rete neurale multistrato, dovrebbe essere in grado di apprendere sia f (x) che F [f (x)] tramite la propagazione all'indietro. Tuttavia, se questo si applica a funzioni più complicate o a tutte le funzioni nell'universo, richiede più prove. Tuttavia, quando consideriamo l'esempio della competizione di Imagenet --- per classificare 1000 oggetti, viene spesso utilizzata una rete neurale molto profonda; il modello migliore può raggiungere un incredibile tasso di errore del 5% circa. Tale NN profondo contiene più di 10 strati non lineari e questa è una prova sperimentale che una relazione complicata può essere rappresentata attraverso una rete profonda [in base al fatto che sappiamo che un NN con 1 livello nascosto può separare i dati in modo non lineare].

Ma se TUTTI i derivati ​​possono essere appresi, sono necessarie ulteriori ricerche.

Non sono sicuro che esistano metodi di apprendimento automatico in grado di apprendere completamente la funzione e la sua derivata. Mi dispiace per quello.

$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

$M$$f_i(x),~i=1,\dots,M$$i$

$g_0,\dots, g_N$

$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Prendiamo seni e coseni con frequenze diverse come le nostre funzioni di allenamento. Calcolo del vettore target:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Ora, la matrice del regressore:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Regressione lineare:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

$F[f(x)]$$f(x)$