Sto studiando l'apprendimento automatico e sento che esiste una forte relazione tra il concetto di dimensione VC e il concetto più classico (statistico) di gradi di libertà.
Qualcuno può spiegare una tale connessione?
Rapporto tra dimensione VC e gradi di libertà
Risposte:
Come affermato dal prof. Yaser Abu-Mostafa-
I gradi di libertà sono un'astrazione del numero effettivo di parametri. Il numero effettivo si basa su quante dicotomie si possono ottenere, piuttosto che su quanti parametri reali vengono utilizzati. Nel caso del percettrone bidimensionale, si può pensare alla pendenza e all'intercettazione (più un grado binario di libertà per la quale la regione va a +1), oppure si possono pensare a 3 parametri w_0, w_1, w_2 (sebbene i pesi possano essere contemporaneamente aumentato o ridotto senza influire sull'ipotesi risultante). I gradi di libertà, tuttavia, sono 3 perché abbiamo la flessibilità di frantumare 3 punti, non a causa di un modo o nell'altro di contare il numero di parametri.
Penso che questa sia una definizione abbastanza non standard di gradi di libertà!
—
kjetil b halvorsen,
La dimensione VC è molto ben spiegata in questo documento nella Sezione 2.1 e successive, con i lemmi e le prove di base forniti. Puoi passare attraverso questo.