Cosa ci dice la dimensione VC del deep learning?

Nell'apprendimento automatico di base ci vengono insegnate le seguenti "regole pratiche":

a) la dimensione dei tuoi dati dovrebbe essere almeno 10 volte la dimensione della dimensione VC del tuo set di ipotesi.

b) una rete neurale con connessioni N ha una dimensione VC di circa N.

Quindi, quando una rete neurale di apprendimento profondo dice milioni di unità, ciò significa che dovremmo avere miliardi di punti dati? Puoi per favore far luce su questo?

— Fequish
fonte

Una rete neurale profonda non avrà milioni di unità come dici. Tuttavia, avrà milioni di connessioni. Suppongo che la tua seconda regola empirica non valga per queste reti, principalmente a causa della loro natura regolarizzata (es. CNN con abbandono).

— pir

Penso che la chiave sia che VC bound non sia infinito. Se è finito, la teoria PAC ci dice che l'apprendimento è fattibile. Quanti dati, questa è un'altra domanda.

— Vladislavs Dovgalecs,

La regola empirica di cui parli non può essere applicata a una rete neurale.

Una rete neurale ha alcuni parametri di base, cioè i suoi pesi e distorsioni. Il numero di pesi dipende dal numero di connessioni tra i livelli di rete e il numero di distorsioni dipende dal numero di neuroni.

La dimensione dei dati richiesti dipende fortemente da -

Il tipo di rete neurale utilizzata .
Le tecniche di regolarizzazione utilizzate in rete .
Il tasso di apprendimento utilizzato nella formazione della rete.

Detto questo, il modo più corretto e sicuro per sapere se il modello è troppo adatto è verificare se l'errore di convalida è vicino all'errore di addestramento. In caso affermativo, il modello funziona correttamente. In caso contrario, è molto probabile che il modello sia troppo adatto e ciò significa che è necessario ridurre le dimensioni del modello o introdurre tecniche di regolarizzazione.

— Azrael
fonte

Stai scherzando quando dici che il modo migliore per capire se il modello è troppo adatto è verificare se l'errore di validazione è vicino all'errore di addestramento.

— nbro,

@nbro, se si dispone di un set-out adeguato per verificare l'errore di convalida, si tratta di una misura molto più affidabile di overfitting per la propria particolare rete addestrata rispetto al superamento di limiti VC solitamente molto allentati.

— Dougal,

@Dougal Stai solo ripetendo quello che hai detto nella tua risposta.

— nbro,

Non è la mia risposta @nbro. Ma dato un set di validazione, puoi ottenere un banale limite ad alta probabilità sul vero errore di generalizzazione con Hoeffding o simile, mentre passare attraverso i limiti VC comporta molti limiti superiori allentati che non sono specifici del particolare set di dati e della rete che hai mano.

— Dougal,