Prima di tutto: lo so, non esiste un numero generale di dimensioni del campione richieste per addestrare una rete neurale. Dipende da troppi fattori come la complessità dell'attività, il rumore nei dati e così via. E più campioni di formazione ho, migliore sarà la mia rete.
Ma mi chiedevo: è teoricamente possibile formare una rete neurale con meno campioni di allenamento rispetto ai pesi, se presumo che il mio compito sia abbastanza "semplice"? Qualcuno conosce un esempio in cui ha funzionato? O questa rete funzionerà quasi sicuramente male?
Se considero, ad esempio, la regressione polinomiale, non riesco ad adattare un polinomio di grado 4 (cioè con 5 parametri liberi) su solo 4 punti dati. Esiste una regola simile per le reti neurali, considerando il mio numero di pesi come il numero di parametri liberi?