Quali sono gli ultimi argomenti di ricerca "caldi" per l'apprendimento profondo e l'IA?


10

Ho fatto la tesi di laurea magistrale su Deep Generative Models e attualmente sto cercando un nuovo argomento.

D: Quali sono gli argomenti di ricerca più "caldi" che ultimamente stanno attirando molta attenzione della comunità del deep learning?

Alcuni chiarimenti:

  • Ho esaminato domande simili e nessuna di esse ha risposto alla mia domanda.
  • Vengo da un background matematico puro, sono passato all'apprendimento profondo solo un anno fa e la mia ricerca sui modelli generativi è stata per lo più teorica. Il che significa che la maggior parte del mio lavoro ruotava attorno a modelli probabilistici strutturati e inferenza approssimativa. Detto questo, devo ancora esplorare le applicazioni del mondo reale dell'apprendimento profondo.
  • Ho fatto i compiti prima di porre la domanda. Il mio obiettivo era quello di ottenere il contributo di AI SE sull'argomento e vedere a cosa stanno lavorando le persone.

1
NAS Net è davvero interessante. Hanno usato una rete neurale per ottimizzare la struttura di una rete neutra
keiv.fly

Lascio aperto dal momento che il PO ha esaminato domande simili e non ha trovato una risposta. Detto questo (senza aver recentemente esaminato i potenziali duplicati) sarebbe bene cercare di distinguere il più possibile questa domanda dalle domande precedenti.
DukeZhou

Risposte:


7

I temi caldi di oggi potrebbero essere le ceneri fredde e umide di domani. Ad esempio, la velocità di convergenza degli approcci CNN e LSTM, specialmente in combinazione, ha distolto considerevolmente l'attenzione dai progetti RNN di base.

Allo stesso modo, i temi freddi di oggi potrebbero essere le braci ardenti di domani. Certo, alcuni degli argomenti freddi rimarranno freddi. Il punto debole potrebbe essere quello di identificare quelli che stanno diventando più caldi e che probabilmente saranno elementi tecnologici futuri sostenibili.

Reti di attenzione residua

Le reti di attenzione residua, come le reti LSTM, rappresentano un miglioramento rispetto agli RNN usando un approccio diverso. Poiché le reti di attenzione sono progettate per conservare le risorse, convergono più rapidamente o con una minore domanda di hardware e rete per supportare l'esecuzione parallela.

Sviluppo automatizzato di modelli non cartesiani

La ricerca nell'automazione della modellazione è la chiave di molte applicazioni AI. Alcuni degli algoritmi in fase di sviluppo non estraggono semplicemente tensori di caratteristiche (array, matrici, cubi e ipercubi), ma sviluppano modelli di grafici, diretti o associativi, con o senza cicli consentiti.

Topologie di segnale che supportano gli equilibri

Molti ignorano l'importanza dei GAN, non perché possono fare cose interessanti con le immagini, ma a causa di come si discostano dalla semplice topologia del percorso del segnale in cui la convergenza su un insieme addestrato di parametri viene raggiunta su una matrice unidimensionale di strati e blocchi di strati.

I componenti discriminativi e generativi nella progettazione GAN sono descritti in dettaglio in un'altra domanda di scambio dello stack AI su * Capire la perdita di GAN FUnction . Sebbene la generazione di immagini dall'approccio GAN e i suoi figli concettuali dimostrino una nuova capacità nello spazio della rete artificiale, l'ampiezza di questo significato multi-rete potrebbe non essere immediatamente ovvia. Non è una pila in profondità di strati, ma una pila di due reti profonde in una topologia a otto cifre, concettualmente molto simile a una striscia di Möbius.

Questa topologia crea un equilibrio tra due reti, la generativa (G) e la discriminativa (D). Il suo designer l'ha definita una relazione contraddittoria perché G e D hanno ruoli opposti. Tuttavia, la loro azione nel sistema è effettivamente collaborativa, creando un equilibrio molto simile a un equilibrio chimico o simbiosi in biologia, in modo da raggiungere un obiettivo specifico. Questo potrebbe rivelare la direzione più promettente nell'IA oggi.

Progettare topologie di segnale che supportano ulteriori forme di collaborazione e simbiosi tra reti, in cui ogni rete è un componente che apprende il suo ruolo insieme ad altre reti di componenti, in modo che il sistema aggregato apprenda la sua funzione in grado di sintetizzare forme di intelligenza artificiale che i DNN non possono.

I sistemi basati su regole e le reti profonde sono unidimensionali in termini di flusso del segnale. Di per sé non possono mai approssimare le caratteristiche più notevoli del cervello umano.

Elaborazione parallela Utilizzo di GPU come DSP

Le implementazioni VLSI delle reti di spiking sono importanti e ora ci sono implementazioni come https://github.com/Hananel-Hazan/bindsnet che sfruttano l'accelerazione hardware GPU per investigarle senza accedere ai chip VLSI sviluppati da grandi aziende.

Riconoscimento vocale e sintesi per TTS end-to-end

La recente comparsa di eccellenza nella sintesi che utilizza sistemi come WaveNet di Google ha aperto le porte ad applicazioni TTS (text-to-sound) più accurate, in modo che probabilmente è un buon momento per diventare un esperto di registrazione vocale da utilizzare in set di esempi di formazione ma un brutto momento per avviare una casa di produzione vocale personalizzata utilizzando altoparlanti dal vivo.

Veicoli automatizzati

I veicoli automatizzati di vari tipi hanno bisogno di esperti in fisica dei veicoli, fabbricazione automobilistica, aeronautica e prodotti di consumo per una vasta gamma di tipi di veicoli con forti incentivi economici e di sicurezza che guidano la semi-automazione e l'automazione completa.

  • Landers su Marte
  • Droni di consumo
  • Droni industriali
  • Droni militari
  • Aerei passeggeri
  • Automobili per passeggeri
  • Limos
  • I treni
  • Sedie a rotelle
  • Veicoli di consegna
  • Distribuzione automatica degli alimenti
  • Robot per la riparazione di centrali nucleari
  • Robot per la riparazione della distribuzione elettrica

Sommario

Potrebbe essere difficile scoprire in anticipo quale delle tecnologie a caldo nell'IA rimarrà dominante tra cinque anni o quale delle tecnologie di riscaldamento diventerà ardentemente calda allora, ma quanto sopra sono solide tecnologie che mostrano significative promesse iniziali e per le quali ci sono grandi affari, richieste industriali e dei consumatori.


1

Bene, ci sono sicuramente molte aree in cui puoi contribuire alla ricerca. Dal momento che stai dicendo che hai fatto una tesi di laurea in modelli generativi profondi, presumo che tu sia a tuo agio in Machine e Deep Learning.

L'epidemiologia digitale è una delle aree in cui è sicuramente possibile applicare l'apprendimento profondo. È ancora un campo relativamente nuovo rispetto ad altri rami della biologia computazionale. Un esempio potrebbe essere quello di vedere l'impatto della registrazione digitale online sulla previsione e sull'ulteriore prevalenza delle malattie.

Tale record online può essere ricevuto da diversi motori di ricerca, siti di social media e talvolta agenzie governative. Ad esempio, puoi vedere qui un esempio del termine di ricerca "Cancro della pelle" e il record corrispondente mostra l'interesse di questo termine in tutto il mondo, questi dati possono essere utilizzati per trovare nuove ipotesi. Ad esempio, se i dati mostrano che abbiamo più interesse da una specifica regione del mondo / paese, ciò potrebbe mostrare che la specifica malattia è più comune in quella regione / parte / paese del mondo. Ipotesi simili possono essere costruite, disegnate e testate. E sicuramente l'apprendimento profondo può migliorare l'accuratezza dei modelli tradizionali utilizzati nella validazione di tali ipotesi.

Un'altra area di ricerca interessante potrebbe essere il confronto delle reti neurali a breve termine con i modelli di serie storiche tradizionali. Non credo che esista una ricerca matura in questo settore. Forse puoi iniziare da questo buon blog qui .

L'elaborazione del segnale potrebbe essere un'altra area molto interessante e anche molto pratica per costruire e validare teorie sui modelli di Deep Learning. Tuttavia, la matematica nell'elaborazione del segnale può essere piuttosto difficile da ottenere. Tutte queste opzioni, tuttavia, richiedono di lavorare in gruppo con persone appartenenti a domini specifici. Cioè se vuoi produrre ricerche di alta qualità.

Altre aree potrebbero essere la PNL, in particolare il caso della traduzione dall'hindi all'urdu o al persiano, il marketing digitale online, le scienze comportamentali, la produzione e gli investimenti. Aree specifiche di ricerca potrebbero essere ulteriormente migliorate se si conoscono esperti di questi settori.


La ringrazio per la risposta. Ottimi suggerimenti! È un dato di fatto, ho lavorato brevemente con gli LSTM. Possono essere utilizzati per generare immagini con dipendenze a lungo in PixelRNN. Per quanto riguarda l'elaborazione del segnale, vengo da un background matematico, quindi in realtà è la mia tazza di tè.
Achraf Oussidi

2
Benvenuto in AI e grazie per il tuo contributo. Abbiamo avuto alcune domande precedenti sull'uso degli attuali metodi di intelligenza artificiale in campo medico. (Troppo numerosi per elencarli qui, ma se interessati ad
entrare

@DukeZhou Grazie per aver fornito conoscenze approfondite. Salva sempre la civiltà umana. Buon lavoro Capitano.
quintumnia,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.