Perché il deep learning è pubblicizzato nonostante la cattiva dimensione del VC?

La formula dimensionale Vapnik – Chervonenkis (VC) per le reti neurali varia da a , con nel peggiore dei casi, dove è il numero di bordi e è il numero di nodi. Il numero di campioni di addestramento necessari per avere una forte garanzia di generalizzazione è lineare con la dimensione VC.$O(E)$$O(E^2)$$O(E^2V^2)$$E$$V$

Ciò significa che per una rete con miliardi di fronti, come nel caso di modelli di apprendimento profondo di successo, il set di dati di addestramento richiede nel migliore dei casi miliardi di campioni di addestramento, a quadrilioni nel caso peggiore. I più grandi set di addestramento attualmente contengono circa cento miliardi di campioni. Poiché non vi sono sufficienti dati di formazione, è improbabile che i modelli di apprendimento profondo si stiano generalizzando. Invece, stanno adattando troppo i dati di addestramento. Ciò significa che i modelli non funzioneranno bene su dati diversi dai dati di addestramento, che è una proprietà indesiderata per l'apprendimento automatico.

Data l'incapacità del deep learning di generalizzare, secondo l'analisi dimensionale VC, perché i risultati del deep learning sono così pubblicizzati? Avere semplicemente un'alta precisione su alcuni set di dati non significa molto in sé. C'è qualcosa di speciale nelle architetture di deep learning che riduce significativamente la dimensione VC?

Se non ritieni che l'analisi della dimensione VC sia pertinente, fornisci prove / spiegazioni che l'apprendimento profondo si sta generalizzando e non si adatta in modo adeguato. Cioè ha un buon richiamo E precisione, o solo un buon richiamo? Il richiamo al 100% è banale da raggiungere, così come la precisione al 100%. Avvicinarsi al 100% è molto difficile.

Come esempio contrario, ecco le prove che l'apprendimento profondo è troppo adeguato. Un modello overfit è facile da ingannare poiché ha incorporato il rumore deterministico / stocastico. Vedere la seguente immagine per un esempio di overfitting.

Inoltre, vedi le risposte classificate più basse a questa domanda per capire i problemi con un modello di overfit nonostante la buona precisione sui dati dei test.

Alcuni hanno risposto che la regolarizzazione risolve il problema di una grande dimensione VC. Vedi questa domanda per ulteriori discussioni.

"Se la mappa e il terreno non sono d'accordo, fidati del terreno."

Non si capisce davvero perché il deep learning funzioni così come funziona, ma certamente i vecchi concetti della teoria dell'apprendimento come le dimensioni del VC sembrano non essere molto utili.

La questione è oggetto di accesi dibattiti, vedi ad esempio:

• HW Lin, M. Tegmark, D. Rolnick, Perché l'apprendimento profondo ed economico funziona così bene?
• C. Zhang, S. Bengio, M. Hardt, B. Recht, O. Vinyals, Comprendere l'apprendimento profondo richiede un ripensamento della generalizzazione .
• D. Krueger, B. Ballas, S. Jastrzebski, D. Arpit, MS Kanwal, T. Maharaj, E. Bengio, A. Fischer, A. Courville, Deep Nets non imparano tramite la memorizzazione .

Per quanto riguarda il problema degli esempi contraddittori , il problema è stato scoperto in:

• C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, A. Rabinovich, Approfondendo le convoluzioni .

È ulteriormente sviluppato in:

• I. Goodfellow, J. Shlens, C. Szegedy, Spiegando e sfruttando esempi contraddittori .

C'è molto lavoro di follow-on.

"Data l'incapacità del Deep Learning di generalizzare, secondo l'analisi dimensionale VC [...]"

No, non è quello che dice l'analisi dimensionale VC. L'analisi dimensionale VC fornisce alcune condizioni sufficienti in cui è garantita la generalizzazione. Ma il contrario non è necessariamente così. Anche se non si soddisfano tali condizioni, il metodo ML potrebbe comunque generalizzare.

Detto in altro modo: l'apprendimento profondo funziona meglio di quanto l'analisi dimensionale VC ti porterebbe ad aspettarti (meglio delle "previsioni" dell'analisi VC). Questo è un difetto dell'analisi dimensionale VC, non un difetto del deep learning. Ciò non implica che l'apprendimento profondo sia imperfetto. Piuttosto, significa che non sappiamo perché il deep learning funzioni e l'analisi VC non è in grado di fornire informazioni utili.

Una dimensione VC elevata non implica che l'apprendimento profondo possa essere ingannato. L'elevata dimensione del VC non garantisce nulla sul fatto che possa essere ingannato in situazioni pratiche. La dimensione VC fornisce un limite unidirezionale, nel caso peggiore: se si soddisfano queste condizioni, allora accadono cose buone, ma se non si soddisfano queste condizioni, non sappiamo cosa accadrà (forse le cose buone accadranno comunque, se la natura si comporta meglio del caso peggiore; l'analisi del VC non promette che le cose buone non possano / non accadranno).

Potrebbe essere che la dimensione VC dello spazio modello sia grande (include modelli molto complessi possibili), ma la natura è spiegata da modelli semplici e l'algoritmo ML apprende il modello semplice presente in natura (ad esempio, a causa della regolarizzazione) - - in questo caso, la dimensione VC sarebbe elevata ma il modello si generalizzerebbe (per il particolare modello presente in natura).

Detto questo ... ci sono prove crescenti che l'apprendimento profondo può essere ingannato da esempi contraddittori. Ma fai attenzione alla tua catena di ragionamenti. Le conclusioni che stai tracciando non seguono le premesse con cui hai iniziato.

Le persone del settore non tengono conto della dimensione VC, degli hooligan ...

Su una nota più seria, sebbene il modello PAC sia un modo elegante di pensare all'apprendimento (almeno secondo me), ed è abbastanza complesso da dare origine a concetti e domande interessanti (come la dimensione VC e la sua connessione con la complessità del campione) , ha ben poco a che fare con le situazioni della vita reale.

Ricorda che nel modello PAC devi gestire distribuzioni arbitrarie, ciò significa che il tuo algoritmo dovrebbe gestire distribuzioni contraddittorie. Quando si tenta di apprendere alcuni fenomeni nel mondo reale, nessuno ti sta dando "dati contraddittori" per incasinare i risultati, quindi richiedere una classe di concetti per l'apprendimento PAC potrebbe essere troppo forte. A volte è possibile associare l'errore di generalizzazione indipendentemente dalla dimensione VC, per una specifica classe di distribuzioni. Questo è il caso dei limiti di margine, che sono formulati indipendentemente dalla dimensione VC. Possono promettere un basso errore di generalizzazione se è possibile garantire un elevato margine empirico (che ovviamente non può accadere per tutte le distribuzioni, ad esempio prendere due punti vicini sul piano con tag opposti e focalizzare la distribuzione su di essi).

Quindi, mettendo da parte il modello PAC e la dimensione VC, penso che l'hype derivi dal fatto che sembrano funzionare e che riescono in compiti che prima non erano possibili (uno degli ultimi risultati che viene in mente è AlphaGo). So molto poco delle reti neurali, quindi spero che qualcuno con più esperienza possa entrare, ma per quanto ne sappia non ci sono ancora buone garanzie (sicuramente non come nel modello PAC). Forse con le giuste ipotesi si potrebbe giustificare formalmente il successo delle reti neurali (suppongo che ci siano lavori intorno al trattamento formale delle reti neurali e del "deep learning", quindi spero che le persone con più conoscenze sull'argomento possano collegare alcuni documenti) .

Data l'incapacità del Deep Learning di generalizzare,

Non so da dove lo porti. Empiricamente, la generalizzazione è vista come il punteggio (es. Accuratezza) su dati invisibili.

La risposta all'utilizzo delle CNN è semplice: le CNN funzionano molto meglio di ogni altra cosa . Vedi ImageNet 2012 per esempio:

• CNN: 15,315% (questo è stato un primo esempio. Le CNN ora sono molto meglio. Con circa il 4% di errore top-5)
• Miglior non-CNN: 26,172% di errore Top-5 ( fonte : fino alle mie tecniche di conoscenza che non utilizzano CNN non sono scesi al di sotto del 25% di errore top-5)

Crea un classificatore che è meglio e le persone passeranno a quello.

AGGIORNAMENTO: assegnerò una risposta a chiunque fornisca prove pubblicate che l'apprendimento automatico in generale viene facilmente ingannato, come questa prova per Deep Learning.

Questo non è il caso. È possibile creare un classificatore che è estremamente semplice su un set di dati semplice. Non sarà possibile ingannarlo (non importa nemmeno cosa significhi "facile"), ma non è neppure interessante.

La risposta di una sola parola è "regolarizzazione". La formula ingenua della dimensione VC non si applica in questo caso perché la regolarizzazione richiede che i pesi non siano generali. Solo una piccola (infinitesima?) Combinazione di peso ha una perdita accettabile dopo la regolarizzazione. Di conseguenza, la vera dimensione è inferiore di molti ordini di grandezza, quindi la generalizzazione può avvenire con i set di addestramento che abbiamo. I risultati della vita reale confermano che il sovradimensionamento generalmente non sta avvenendo.

Affrontiamo il documento: la comprensione del deep learning richiede un ripensamento della generalizzazione. nel

Ripensare la generalizzazione richiede rivisitare vecchie idee: approcci di meccanica statistica e comportamenti di apprendimento complessi Charles H. Martin e Michael W. Mahoney

Vedi: https://arxiv.org/pdf/1710.09553.pdf

Fondamentalmente, sosteniamo che i limiti del VC sono troppo ampi perché l'approccio fondamentale e come il limite statistico che viene preso non è realistico.

Un approccio migliore risiede nella Meccanica statistica, che considera una classe di funzioni dipendenti dai dati, prende il limite termodinamico (non solo il limite di grandi numeri)

Inoltre, segnaliamo anche come le naturali discontinuità nel profondo bisogno portano a una transizione di fase nella curva di apprendimento, che crediamo sia osservata nel documento di Google (sopra)

Per quanto riguarda i limiti, vedere la sezione 4.2 del nostro documento

"Chiaramente, se fissiamo la dimensione del campione m e lasciamo [la dimensione della classe della funzione] N → ∞, [o viceversa, correggiamo N, lasciamo m → ∞] non dovremmo aspettarci un risultato non banale, poiché [ N] sta diventando più grande ma la dimensione del campione è fissa. Pertanto, [in Statistical Mechanics] si considera in genere il caso che m, N → ∞ tale che α = m / N sia una costante fissa. "

Cioè, molto raramente aggiungeremmo più dati (m) a una rete profonda. Aumentiamo sempre anche le dimensioni della rete (N), perché sappiamo che possiamo acquisire caratteristiche / informazioni più dettagliate dai dati. Invece facciamo in pratica ciò per cui sosteniamo nel documento: prendiamo il limite di grandi dimensioni, con il rapporto m / N fisso (al contrario di dire fissando me aumentando N).

Questi risultati sono ben noti nella Meccanica statistica dell'apprendimento. L'analisi è più complicata, ma i risultati portano a una struttura molto più ricca che spiega molti fenomeni nell'apprendimento profondo.

Inoltre, e in particolare, è noto che molti limiti delle statistiche diventano banali o non si applicano alle distribuzioni di probabilità non uniformi o quando le variabili assumono valori discreti. Con le reti neurali, il comportamento non banale sorge a causa di discontinuità (nelle funzioni di attivazione), che portano a transizioni di fase (che sorgono nel limite termodinamico).

Il documento che abbiamo scritto cerca di spiegare le idee salienti a un pubblico di informatica.

Lo stesso Vapnik si rese conto che la sua teoria non era realmente applicabile alle reti neurali ... nel lontano 1994

"L'estensione della [dimensione VC] alle reti multistrato deve affrontare [molte] difficoltà ... gli algoritmi di apprendimento esistenti non possono essere visti come minimizzare il rischio empirico sull'intero insieme di funzioni implementabili dalla rete ... [perché] è probabilmente ... la ricerca sarà limitata a un sottoinsieme di [queste] funzioni ... La capacità di questo set può essere molto inferiore alla capacità dell'intero set ... [e] può variare con il numero di osservazioni. Ciò potrebbe richiedere una teoria che consideri la nozione di capacità non costante con un sottoinsieme "attivo" di funzioni "
Vapnik, Levin e LeCun 1994

http://yann.lecun.com/exdb/publis/pdf/vapnik-levin-lecun-94.pdf

Sebbene non sia facile da trattare con la teoria del VC, questo non è un problema per stat mech..e ciò che descrivono assomiglia molto alla teoria del paesaggio energetico del ripiegamento delle proteine. (che sarà l'argomento di un futuro articolo)

Nessuno sembra aver sottolineato nelle risposte precedenti che la formula della dimensione VC citata è solo per una rete neurale a 1 strato. La mia ipotesi è che la dimensione VC cresca effettivamente esponenzialmente all'aumentare del numero di strati L. Il mio ragionamento si basa sul considerare reti neurali profonde in cui la funzione di attivazione è sostituita da reti polinomiali. Quindi il grado dei polinomi composti cresce esponenzialmente all'aumentare degli strati.