Calcolo efficiente o approssimazione della dimensione VC di una rete neurale

Il mio obiettivo è risolvere il seguente problema, che ho descritto dal suo input e output:

Ingresso:

Un grafico aciclico diretto con nodi , fonti e sink ( ). $G$ $m$ $n$ $1$ $m > n \geq 1$

Produzione:

Il VC-dimensione (o una sua approssimazione) per la rete neurale con topologia . $G$

Più specifici :

Ogni nodo in è un neurone sigmoideo. La topologia è fissa, ma i pesi sui bordi possono essere variati dall'algoritmo di apprendimento. $G$
L'algoritmo di apprendimento è fisso (ad esempio propagazione all'indietro).
I nodi sorgente sono i neuroni di input e possono prendere solo stringhe da come input. $n$ $\{-1,1\}^n$
Il nodo sink è l'unità di output. Emette un valore reale da che arrotondiamo per eccesso a o per a se è più di una certa soglia fissa partire da . $[-1,1]$ $1$ $-1$ $\delta$ $0$

L'approccio ingenuo è semplicemente quello di provare a rompere sempre più punti, tentando di addestrare la rete su di essi. Tuttavia, questo tipo di approccio di simulazione non è efficiente.

Domanda

Esiste un modo efficiente (cioè in quando modificato al problema decisionale: la dimensione VC è inferiore al parametro di input ?) Per calcolare questa funzione? In caso contrario, ci sono risultati di durezza? $\mathsf{P}$ $k$

Esiste un modo pratico per calcolare o approssimare questa funzione? Se si tratta di un'approssimazione, ci sono garanzie sulla sua precisione?

Appunti

Ho fatto una domanda simile su stats.SE ma non ha generato alcun interesse.

— Artem Kaznatcheev
fonte

Potrebbe rendere la domanda più autonoma se si potesse rendere più esplicita la funzione di trasferimento. Vale a dire le formule effettive su come si propagano le informazioni.

— Suresh,

Se sei disposto a limitare ulteriormente il problema lasciando che la rete sia stratificata, allora "Machine Learning" di Tom Mitchell fornisce un limite superiore di ( ) (sezione 7.4.4) dove è il numero di nodi interni (che deve essere maggiore di 2), è la dimensione VC dei singoli nodi ed è la base del logaritmo naturale. Se stai cercando un limite al numero di esempi di allenamento, queste informazioni dovrebbero essere sufficienti. $2ds \log(es)$ $s$ $d$ $e$

Non è strettamente una risposta alla tua domanda, ma potrebbe esserti di aiuto lungo la strada. Il risultato è dovuto a Baum e Haussler (1989).

— Peter
fonte