Mi sono imbattuto nel tuo post mentre cercavo una formula generale per calcolare le dimensioni VC sulle reti neurali, ma a quanto pare non ce n'è una. Apparentemente abbiamo solo un miscuglio di equazioni VC disparate che si applicano solo in alcuni casi stretti. Attenzione: sto basando questo sulla vecchia ricerca che capisco a malapena, sul concetto di VC Dimensions, di cui sto imparando solo ora. Tuttavia, potrebbe valere la pena di sfogliare questo articolo di Peter L. Bartlett e Wolfgang Maass 1sulla calcolabilità delle dimensioni VC. Nota come fanno di tutto per derivare le formule VC in 13 teoremi, ma quanto diverse e numerose sono le condizioni necessarie per ognuna. Questi prerequisiti vanno dal numero di operatori nelle funzioni di attivazione ai tipi di salti consentiti, il numero di neuroni e le loro posizioni, la profondità di bit dell'input, ecc .; ci sono così tanti di questi "gotcha" sparsi che rendono le formule utili solo per alcune classi ristrette di problemi. A peggiorare le cose, sottolineano nei Teoremi 5 e 8 che le funzioni di attivazione sigmoidale sono particolarmente difficili da calcolare per le cifre VC. Alle pagine 6-7 scrivono:
"Sebbene la dimensione VC delle reti con funzioni di attivazione polinomiale a tratti sia ben compresa, la maggior parte delle applicazioni delle reti neurali utilizzano la funzione sigmoidale logistica o la funzione di base radiale gaussiana. Sfortunatamente, non è possibile calcolare tali funzioni utilizzando un numero finito di operazioni aritmetiche elencate nel Teorema 5. Tuttavia, Karpinski e Macintyre [Karpinski e Macintyre, 1997] hanno esteso il Teorema 5 per consentire il calcolo degli esponenziali.La dimostrazione usa le stesse idee, ma il limite del numero di soluzioni di un sistema di equazioni è sostanzialmente più difficile ".
Mi sono anche imbattuto in questo documento con l'incoraggiante titolo di "Limitazione della dimensione VC per reti neurali: progressi e prospettive". 2Gran parte della matematica è sopra la mia testa e non l'ho sfiorata abbastanza a lungo per superare la mia mancanza di capacità di traduzione, ma sospetto che non offra alcuna soluzione sconvolgente, dal momento che precede la seconda edizione del libro Bartlett e Maass, che citano un'opera successiva degli stessi autori. Forse più tardi la ricerca negli ultimi 20 anni ha migliorato la calcolabilità delle dimensioni del VC per le reti neurali, ma la maggior parte dei riferimenti che ho trovato sembrano risalire alla metà degli anni '90; apparentemente ci fu una raffica di lavoro sull'argomento che da allora si è spento. Se le capacità non sono state estese da una borsa di studio più recente rispetto a quella degli anni '90, spero che qualcuno trovi presto una soluzione più ampiamente applicabile in modo da poter iniziare a calcolare le dimensioni VC anche sulle mie reti neurali. Scusa non ho potuto
1 Bartlett, Peter L. e Maass, Wolfgang, 2003, "Dimensione di reti neurali Vapnik-Chervonenkis", pp. 1188-1192 nel Manuale di Brain Theory and Neural Networks, Arbib, Michael A. ed. Stampa del MIT: Cambridge, Mass.
2 Karpinski, Marek e Macintyre, Angus, 1995, "Limitazione della dimensione VC per reti neurali: progressi e prospettive", pagg. 337–341 in Atti della 2a Conferenza europea sulla teoria dell'apprendimento computazionale, Barcellona, Spagna. Vitanyi, P. ed. Dispense in Intelligenza artificiale, n. 904. Springer: Berlino.