Mi sono imbattuto in alcuni modi di base per misurare la complessità delle reti neurali:
- Ingenuo e informale: conta il numero di neuroni, neuroni nascosti, strati o strati nascosti
- Dimensione VC (Eduardo D. Sontag [1998] "Dimensione VC delle reti neurali" [ pdf ].)
- Una complessità computazionale granulare e asintotica misura per equivalenza a .
Ci sono altre alternative?
Si preferisce:
- Se la metrica della complessità potesse essere utilizzata per misurare reti neurali da paradigmi diversi (per misurare backprop, reti neurali dinamiche, correlazione in cascata, ecc.) Sulla stessa scala. Ad esempio, la dimensione VC può essere utilizzata per diversi tipi su reti (o anche cose diverse dalle reti neurali) mentre il numero di neuroni è utile solo tra modelli molto specifici in cui la funzione di attivazione, i segnali (somme di base vs. picchi) e altri le proprietà della rete sono le stesse.
- Se ha belle corrispondenze a misure standard di complessità delle funzioni apprendibili dalla rete
- Se è facile calcolare la metrica su reti specifiche (quest'ultima non è d'obbligo, però.)
Appunti
Questa domanda si basa su una domanda più generale su CogSci.SE.