Esistono reti neurali con pochissimi nodi che risolvono decentemente problemi non banali?

Sono interessato a sapere se esiste una rete neurale, che risolve (con un'accuratezza> = 80%) qualsiasi problema non banale, che utilizza pochissimi nodi (dove 20 nodi non sono un limite rigido). Voglio sviluppare un'intuizione sulle dimensioni delle reti neurali.

neural-networks

— Guillermo Mosse
fonte

Teorema universale di approssimazione: una rete neurale con un livello nascosto può approssimare qualsiasi funzione "ragionevole" dato un numero sufficiente di nodi nel livello nascosto.

— nbro

Penso che non sarà facile rispondere alla tua domanda. Cosa intendi con "problema non banale"?

— nbro

Voglio pochi nodi anche in livelli nascosti.

— Guillermo Mosse

@nbro il mio senso di "non banale" in questo contesto è intrattabile o irrisolto.

— DukeZhou

Anche se è impossibile rispondere correttamente a questa domanda, poiché non banale non è ben definito (forse l'autore modificherà queste domande in seguito, per specificarlo meglio), colgo l'occasione per sottolineare questo documento che mi sembra interessante

La più piccola rete neurale per imparare la critica di Ising

Supponendo che abbiate un'idea generale del Modello Ising, penso che il problema di identificare la temperatura critica da una prospettiva basata sui dati possa essere considerato non banale e il documento mostra come gli autori hanno migliorato le prestazioni relative alla risoluzione di questo compito con NN che passa da 100 neuroni nascosti, eseguiti in questo documento Fasi di apprendimento automatico della materia dal 2017, a soli 2 neuroni nascosti

Solo i miei centesimi:

ridurre i neuroni, pur mantenendo buone prestazioni, dovrebbe aiutare in termini di interpretabilità dell'elaborazione neuronale che è notoriamente oscura e la sua complessità cresce (esponenzialmente) con il numero di neuroni

— Nicola Bernini
fonte

Volevo solo esempi che la stessa comunità trovava interessante. Penso che in realtà non sia banale definire la non banalità. Giusto?

— Guillermo Mosse

@GuillermoMosse No, è abbastanza banale definire non banali. La definizione è più o meno arbitraria a seconda di ciò che meglio si adatta alla situazione. Sono sicuro che un NN molto semplice potrebbe imparare a dire se un determinato numero è o meno una radice quadrata non banale ...

— foresta