Le reti neurali di apprendimento profondo funzioneranno su computer quantistici?


15

Il deep learning (più strati di reti neurali artificiali utilizzate in attività di machine learning supervisionate e non supervisionate) è uno strumento incredibilmente potente per molte delle attività di machine learning più difficili: riconoscimento di immagini, riconoscimento video, riconoscimento vocale, ecc. Dato che attualmente è uno dei più potenti algoritmi di machine learning, e Quantum Computing è generalmente considerato come un punto di svolta per alcune attività di calcolo molto difficili, mi chiedo se ci sia stato qualche movimento nel combinare i due.

  • Un algoritmo di apprendimento profondo potrebbe funzionare su un computer quantistico?
  • Ha senso provare?
  • Esistono altri algoritmi quantistici che renderebbero irrilevante l'apprendimento profondo?

1
Non sono un esperto, ma immagino che l'algoritmo HHL sarebbe utile in questo contesto.
DaftWullie,

Risposte:


8
  1. tempo originale

  2. Per il fatto ci sono chiari guadagni computazionali in alcuni processi: sì.

  3. Non che io sappia. Ma qualcuno con più esperienza può venire qui se lo desidera. L'unica cosa che mi viene in mente: spesso possiamo usare il Deep Learning e altre forme di Intelligenza Artificiale per studiare problemi di chimica e fisica perché la simulazione è costosa o poco pratica. In questo campo, i computer quantistici probabilmente macelleranno i loro antenati classici data la loro capacità di simulare nativamente i sistemi quantistici (come quelli della chimica nucleare) in tempo reale o più velocemente.

L'ultima volta che ho parlato con lui, Mario Szegedy era interessato proprio a questo, probabilmente ci sono anche molti altri ricercatori che ci stanno lavorando proprio ora.


6
Non sono convinto che l'algoritmo di Grover sia rilevante qui. L'algoritmo di Grover trova l'unico input univoco che produce esattamente un determinato output. OTOH, le reti neurali sono per natura non univoche e non sono nemmeno esattamente esatte - nella migliore delle ipotesi asinticamente accurate.
circa il

Può essere trattato come un problema di ricerca nella base di dati osservando una super posizione di tutti gli stati in cui possono trovarsi i pesi. Lasciate che la funzione di ricerca ritorni 1, se la norma della derivata della rete neurale su un input standard rispetto ai pesi è meno di una certa tolleranza desiderata.
frogeyedpeas,

1
Sarebbe del tutto inutile. Per qualsiasi problema non banale ci saranno molte combinazioni di pesi a cui il gradiente è zero; anche se l'algoritmo di Grover ti fornisse uno di questi, in genere non sarebbe un minimo, tanto meno un minimo globale.
circa il

Non sarei d'accordo, considerando il seguente protocollo: discesa gradiente vaniglia fino a una certa soglia, quindi applicherei la ricerca di Grover in uno spazio di pesi molto ristretto per raccogliere un minimo minimo entro un limite di errore, quella parte finale è dove la discesa gradiente di solito converge molto lentamente verso l'ottimale locale, e mi incuriosisce se è qui che ricorrere a Grover Search potrebbe essere interessante
frogeyedpeas

1
Hm, potrebbe funzionare; tuttavia in quella parte finale sono sicuro che potresti anche fare molto meglio della discesa in pendenza con mezzi classici. Il gradiente biconjugate è il candidato ovvio.
lasciato circa il

13

Questa è una domanda molto aperta, ma sì, c'è una notevole quantità di lavoro che viene svolto su questo fronte.

Alcuni chiarimenti

Innanzitutto, si deve notare che esistono due modi principali per unire l'apprendimento automatico (e l'apprendimento profondo in particolare) con la meccanica quantistica / calcolo quantistico:

Applicare le tecniche classiche di apprendimento automatico per affrontare i problemi che sorgono nel contesto della meccanica quantistica / informazione quantistica / calcolo quantistico . Quest'area sta crescendo troppo velocemente per tentare persino un elenco decente di riferimenti, quindi mi limiterò a collegare un paio dei lavori più recenti in questa direzione: nel 1803.04114 gli autori hanno usato un approccio di apprendimento automatico per trovare circuiti per calcolare la sovrapposizione tra due stati (ci sono un numero di altre opere in questa stessa direzione), e nel 1803.05193 gli autori hanno studiato il modo in cui le reti neurali profonde possono essere utilizzate per trovare schemi di correzione del controllo quantistico.

Studio di algoritmi quantistici per analizzare i big data , il che equivale spesso a cercare " generalizzazioni quantistiche " di algoritmi di machine learning classici. Puoi dare un'occhiata a questa mia altra risposta per ottenere alcuni riferimenti di base su questo argomento. Più specificamente per il caso del deep learning , nel 1412.3489 (appropriatamente chiamato Quantum Deep Learning ) gli autori propongono un metodo (in effetti, un algoritmo quantistico) per accelerare generalmente l'addestramento di macchine Boltzmann profonde e ristrette . Un altro riferimento rilevante qui è il 1712.05304 , in cui gli autori sviluppano un algoritmo quantistico a bassa profondità per addestrare le macchine quantistiche di Boltzmann. Vedi 1708.09757, così come i riferimenti nella risposta collegata, per trovare molti altri lavori su questo. Si noti che l'accelerazione dichiarata in queste opere può variare notevolmente, dalle accelerazioni esponenziali a quelle polinomiali.

A volte l'accelerazione deriva dall'uso di algoritmi quantistici per risolvere particolari problemi algebrici lineari (si veda ad esempio la Tabella 1 in ( 1707.08561 ), a volte deriva da ciò che equivale sostanzialmente all'utilizzo della (ricerca di) variazioni di Grover, e talvolta da altri cose (ma soprattutto queste due). Citando Dunjko e Briegel qui :

Le idee per i miglioramenti quantistici per ML possono essere approssimativamente classificate in due gruppi: a) approcci che si basano sulla ricerca di Grover e sull'amplificazione dell'ampiezza per ottenere accelerazioni up-to-quadratic, e, b) approcci che codificano le informazioni rilevanti in ampiezze quantiche e che hanno il potenziale per miglioramenti anche esponenziali. Il secondo gruppo di approcci costituisce forse la linea di ricerca più sviluppata nella ML quantistica e raccoglie una pletora di strumenti quantistici, in particolare l'algebra lineare quantistica, utilizzata nelle proposte di ML quantistica.

Risposta più diretta alle tre domande

Detto questo, permettimi di rispondere più direttamente ai tre punti che hai sollevato:

  1. Un algoritmo di apprendimento profondo potrebbe funzionare su un computer quantistico? Sicuramente sì: se riesci a eseguire qualcosa su un computer classico puoi farlo su computer quantistici. Tuttavia, la domanda che ci si dovrebbe porre è piuttosto che un algoritmo quantistico (profondo) di machine learning può essere più efficiente delle controparti classiche ? La risposta a questa domanda è più complicata. Forse sì , ci sono molte proposte in questa direzione, ma è troppo presto per dire cosa funzionerà o meno.

  2. Ha senso provare? Sì!

  3. Esistono altri algoritmi quantistici che renderebbero irrilevante l'apprendimento profondo? Questo dipende fortemente da cosa intendi per " irrilevante ". Voglio dire, per quello che è noto al momento, potrebbero benissimo esserci algoritmi classici che renderanno l'apprendimento approfondito "irrilevante".

3
Nel contesto di questa risposta, vorrei menzionare questo recente documento che mostra come l'algoritmo di ottimizzazione approssimativa quantistica può essere utilizzato per addestrare reti neurali (macchine Boltzmann limitate) impiegando campionamenti Gibbs approssimativi su computer quantistici universali.
Mark Fingerhuth,

1
@MarkFingerhuth L'ho aggiunto alla risposta, grazie per il puntatore (e benvenuto nel sito!)
glS

2

Ecco un ultimo sviluppo di Xanadu, un circuito quantico fotonico che imita una rete neurale. Questo è un esempio di una rete neurale in esecuzione su un computer quantistico.

Questo circuito fotonico contiene interferometri e porte di compressione che imitano le funzioni di pesatura di un NN, un gate di spostamento che funge da polarizzazione e una trasformazione non lineare simile alla funzione ReLU di un NN.

Hanno anche usato questo circuito per addestrare la rete a generare stati quantistici e implementare anche porte quantistiche.

Ecco la loro pubblicazione e il codice utilizzato per addestrare il circuito . Ecco un articolo di media spiegazione del loro circuito.


2

Tutte le risposte qui sembrano ignorare una limitazione pratica fondamentale:

Il Deep Learning funziona specificamente meglio con i big data. MNIST è 60000 immagini, ImageNet è 14 milioni di immagini.

Nel frattempo, i più grandi computer quantistici in questo momento hanno 50 ~ 72 Qbit.

Anche negli scenari più ottimistici, i computer quantistici in grado di gestire i volumi di dati che richiederebbero algoritmi di Deep Learning invece non saranno disponibili in tempi brevi metodi di modellazione più tradizionali.

Quindi applicare il controllo qualità al Deep Learning potrebbe essere una bella curiosità teorica, ma non qualcosa che presto diventerà pratico.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.