Reti neurali artificiali in evoluzione per la risoluzione dei problemi NP

Di recente ho letto un post di blog davvero interessante dal blog di ricerca di Google che parla della rete neurale. Fondamentalmente usano queste reti neurali per risolvere vari problemi come il riconoscimento delle immagini. Usano algoritmi genetici per "evolvere" i pesi degli assoni.

Quindi sostanzialmente la mia idea è la seguente. Se dovessi scrivere un programma che riconosca i numeri non saprei come iniziare (potrei avere qualche vaga idea ma il mio punto è: non è banale, né facile.) Ma usando la rete neurale non è necessario. Creando il giusto contesto per far evolvere la rete neurale, la mia rete neurale "troverà l'algoritmo corretto". In basso ho citato una parte davvero interessante dell'articolo in cui spiegano come ogni strato abbia un ruolo diverso nel processo di riconoscimento delle immagini.

Una delle sfide delle reti neurali è capire cosa succede esattamente ad ogni livello. Sappiamo che dopo l'allenamento, ogni strato estrae progressivamente caratteristiche di livello superiore e superiore dell'immagine, fino a quando il livello finale non prende sostanzialmente una decisione su ciò che l'immagine mostra. Ad esempio, il primo strato potrebbe cercare bordi o angoli. I livelli intermedi interpretano le caratteristiche di base per cercare forme o componenti complessivi, come una porta o un'anta. Gli ultimi pochi strati assemblano quelli in interpretazioni complete: questi neuroni si attivano in risposta a cose molto complesse come interi edifici o alberi.

Quindi sostanzialmente la mia domanda è la seguente: non potremmo usare algoritmi genetici + reti neurali per risolvere ogni problema NP? Creiamo semplicemente il giusto contesto evolutivo e lasciamo che la "natura" trovi una soluzione.

Inceptionism: approfondire le reti neurali

EDIT: So che possiamo usare Brute-Force o trovare una soluzione non efficiente in molti casi. Ecco perché provo a evidenziare le reti neurali artificiali in evoluzione . Come ho detto in un commento: dato il tempo sufficiente e un tasso di mutazione adeguato, siamo riusciti a trovare la soluzione ottimale (o almeno è quello che penso).

No. È improbabile che questa direzione sia utile, per due motivi:

1. La maggior parte degli informatici ritiene che P NP. Supponendo P NP, ciò significa che non esiste alcun algoritmo del tempo polinomiale per risolvere qualsiasi problema NP-completo. Se vuoi che la tua rete neurale risolva il problema in un ragionevole lasso di tempo, allora non può essere troppo grande, e quindi la rete neurale sarà essa stessa un algoritmo a tempo polinomiale. Ne consegue che se P NP, le reti neurali non sono in grado di risolvere in modo efficiente alcun problema NP-completo.≠ $\ne$$\ne$$\ne$

2. Le reti neurali non sono "magiche". Sono un modo per cercare di trovare schemi. Per alcuni problemi in cui vi sono modelli abbastanza forti da trovare, e i modelli possono essere appresi da un numero ragionevole di esempi, potrebbero essere efficaci. Ma non sono magici polvere di fata. Solo perché puoi configurare una rete neurale non significa che la backpropagazione troverà necessariamente un buon modo per risolvere il tuo problema. È possibile che non ci siano modelli da trovare, che i modelli possano essere scoperti solo con un numero imprecisabile di esempi o che esistano modelli ma la procedura di addestramento della rete neurale non è in grado di trovarli.

Le reti neurali sono solo un'altra forma di apprendimento automatico. Potremmo fare le stesse osservazioni sugli SVM o sulle foreste casuali o sulla regressione lineare di qualsiasi altra forma di apprendimento automatico. Le reti neurali non sono una sorta di magico proiettile d'argento che risolve tutti i problemi di apprendimento automatico. Sono efficaci quanto gli altri metodi di apprendimento automatico o per alcuni tipi di problemi, forse un po 'più efficaci, ma non sono magici.

A volte incontro persone che hanno sentito solo un po 'di reti neurali e se ne vanno pensando che le reti neurali siano la risposta a tutto, forse perché hanno sentito che "il tuo cervello usa anche le reti neurali" o ne hanno viste bella applicazione (riconoscimento vocale o qualcosa del genere). Ma non lasciarti ingannare. Non credere all'hype. Le reti neurali sono una tecnica utile, ma non permetteranno ai computer di risolvere i problemi NP-completi, o di battere il test di Turing, portare via tutti i nostri lavori e sostituire gli umani con i computer. Non presto, comunque. Questa è solo fantascienza.

Sembra che altre risposte mentre informazioni / utili non stiano effettivamente capendo esattamente la tua domanda e ci stiano leggendo un po 'troppo. Non hai chiesto se le reti neurali avrebbero sovraperformato altri metodi, hai solo chiesto se potevano essere applicate a problemi NP completi. La risposta è sì, con un certo successo e questo è noto da decenni e c'è una grande varietà di ricerche su questo, e continua. Ciò ha a che fare con la flessibilità dell'apprendimento automatico. Si noti che anche se non trovano soluzioni esatte o ottimali, le soluzioni che hanno possono avere altre proprietà desiderabili. alcuni documenti di esempio:

• Reti neurali e problemi di ottimizzazione NP-completi; Uno studio delle prestazioni sul problema del problema delle bisezioni / Peterson, Anderson

• Reti neurali per problemi NP-completi (1996) / Budinich

• Trovare soluzioni approssimative ai problemi NP-Hard da parte di reti neurali è difficile / Yao

• Sulla potenza delle reti neurali per la risoluzione di problemi difficili / Bruck, Goodman

Le reti neurali in realtà non risolvono i problemi NP-completi. Quello che fanno è risolvere i problemi che sono notevolmente vicini ai problemi NP-completi.

Una grande caratteristica delle reti neurali è che non sono obbligate a trovare la risposta "giusta" ogni volta. Possono essere "sbagliati". Ad esempio, potresti risolvere un problema di impacchettamento e arrivare a una soluzione che è dell'1% di sconto rispetto alla soluzione ideale ed essere totalmente soddisfatto di quella risposta.

Se rimuovi il requisito di essere sempre al 100% giusto, altri approcci per la risoluzione dei problemi funzionano molto bene. Ad esempio, molti algoritmi di pianificazione del percorso (come la Google Maps) devono essere NP-completi, ma è abbastanza banale trovare un algoritmo che trovi un percorso nell'1% del 99,9% ottimale del tempo. Sta cercando di individuare i risultati in quell'ultimo 0,1% dei casi che spingono gli sforzi compiuti da NP a essere così incredibilmente costosi.

Come succede, quando proviamo a usare equazioni NP complete nella vita reale, spesso non abbiamo bisogno della risposta effettiva . Spesso ci sentiamo molto a nostro agio con una risposta "stretta", anche se spesso non abbiamo una formulazione per spiegare quale metrica "stretta" stiamo usando. Queste sono le situazioni in cui una rete neurale può rispondere all'effettiva domanda che volevi porre, piuttosto che dover effettivamente risolvere il problema NP-completo che hai chiesto invece.

È noto che le reti neurali sono in grado di approssimare la funzione universale , ma ciò richiede di addestrarle sul problema (ottimizzazione) che è un problema NP completo in sé e per sé , motivo per cui si ha un allenamento evolutivo e SGD con backpropagation e così via.

Pertanto, anche se non è probabile che risolvano i problemi NP-completi, possono essere addestrati per approssimare ad un grado arbitrario di precisione una funzione che modella il problema. Inoltre, anche se ti capita di risolvere in modo ottimale un problema NP-completo usando una rete neurale, non hai ancora modo di dimostrare che la soluzione trovata sia in realtà l'ottimale globale senza forzare brutalmente la soluzione (questo ovviamente non è fattibile per quasi tutti gli aspetti pratici caso d'uso di reti neurali).

La tua visualizzazione è accurata nel senso che gli algoritmi evolutivi (vedi come l' algoritmo pulito impedisce a una singola specie di impadronirsi della popolazione con una struttura inizialmente altamente performante utilizzando la forma fisica condivisa) sono meno adatti di SGD e altre tecniche di apprendimento automatico da intrappolare ottimum locali ma non forniscono alcuna prova che la soluzione che trovano sia in realtà la soluzione globale ottimale.