Il potere computazionale delle reti neurali è correlato alla funzione di attivazione

10

È dimostrato che le reti neurali con pesi razionali hanno il potere computazionale della calcolatrice universale di Turing con le reti neurali . Da quello che ottengo, sembra che l'uso di pesi con valori reali produca ancora più potenza computazionale, anche se non ne sono certo.

Tuttavia, esiste qualche correlazione tra la potenza computazionale di una rete neurale e la sua funzione di attivazione? Ad esempio, se la funzione di attivazione confronta l'input con un limite di una sequenza Specker (qualcosa che non si può fare con una normale macchina di Turing, giusto?), Questo rende la rete neurale computazionalmente "più forte"? Qualcuno potrebbe indicarmi un riferimento in questa direzione?

computability neural-networks

— K.Steff
fonte

Cosa intendi per potenza computazionale?

— edA-qa mort-ora-y

@ edA-qamort-ora-y Ho fatto alcune modifiche per chiarire la domanda. Se hai altri suggerimenti di modifica, sarei lieto di

— ospitarli

12

Solo una nota:

$NN$
$NN$
$NN$

ma ...

$NN$

— vor
fonte

5

Prenderò la soluzione semplice e dirò "Sì". Considera una funzione di attivazione che accetta qualsiasi input e restituisce semplicemente un valore costante (ovvero ignora gli input). Questa rete si traduce sempre in un output costante, e quindi la potenza computazionale (probabilmente per qualsiasi definizione) di questa rete è zero. Non è in grado di calcolare nulla.

Questo è sufficiente per mostrare una correlazione tra la funzione di attivazione sulla potenza della rete. Ovviamente non dimostra, né confuta, che una rete potrebbe avere più potenza di una macchina da turismo universale.

— edA-qa mort-ora-y
fonte