Potenza computazionale delle reti neurali?

Supponiamo di avere una rete neurale feed forward a strato singolo con k input e un output. Calcola una funzione da , è abbastanza facile vedere che questo ha almeno la stessa potenza computazionale di . Per divertimento, chiameremo l'insieme di funzioni calcolabili da una rete neurale a singolo strato " ". $\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace$ $AC^0$ $Neural$

Sembra, tuttavia, che potrebbe avere più potenza computazionale del solo . $AC^0$

Quindi ... è o ? Anche questo tipo di classe di complessità è stata studiata in precedenza? $AC^0 \subseteq Neural$ $Neural = AC^0$

— gabgoh
fonte

Una nota sulla terminologia: informazioni importanti sono quanti strati nascosti ci sono. La rete neurale a zero strati nascosti con un'uscita è solo una funzione di soglia lineare ed è spesso (confusamente) chiamata rete / percezione neuronale a uno o due strati, a seconda che gli ingressi / uscite siano considerati strati. Inoltre, nella letteratura AI, le reti neurali sono in genere definite in termini di funzioni sigmoidi, il che significa che input / output sono valutati realmente. Una rete a strati nascosti è nota per essere approssimatori universali, nel senso che qualsiasi funzione continua può essere approssimata in modo arbitrario vicino

— Yaroslav Bulatov

Ci sono alcuni riferimenti che ho potuto trovare: Calcolo per scopi generici con reti neurali: un'indagine sui risultati teorici della complessità, 2003 e gerarchie di conteggio: tempo polinomiale e circuiti a profondità costante, 1993 .

$d$ $TC^0_d$ $TC^0$

$TC^0$ $ACC^0$ $AC^0$ $AC^0 \subset TC^0$

$d$

— M. Alaggan
fonte

Interessante, grazie. Questo è quello che stavo cercando. Ancora più interessante è quello

T C^{0}

$TC^0$ ha un problema completo ... hmm ...

— gabgoh