GAN (reti contraddittorie generative) possibili anche per il testo?

I GAN - reti contraddittorie generative - fanno bene solo alle immagini o potrebbero essere usati anche per il testo?

Ad esempio, formare una rete per generare testi significativi da un riepilogo.

UPD - citazioni dell'inventore GAN Ian Goodfellow.

I GAN non sono stati applicati alla PNL perché i GAN sono definiti solo per dati con valori reali. ( 2016 ) fonte

Non è un'idea fondamentalmente imperfetta. Dovrebbe essere possibile eseguire almeno una delle seguenti ... (2017) fonti

Sì, i GAN possono essere utilizzati per il testo. Tuttavia, esiste un problema nella combinazione di come funzionano i GAN e di come il testo viene normalmente generato dalle reti neurali:

• I GAN funzionano propagando i gradienti attraverso la composizione di Generatore e Discriminatore.
• Il testo viene normalmente generato avendo un layer softmax finale sullo spazio token, ovvero l'output della rete è normalmente la probabilità di generare ogni token (cioè un'unità stocastica discreta).

Queste 2 cose non funzionano bene insieme da sole, perché non è possibile propagare i gradienti attraverso unità stocastiche discrete. Ci sono 2 approcci principali per affrontare questo: l' algoritmo REINFORCE e la riparameterizzazione Gumbel-Softmax (nota anche come distribuzione Concrete ). Tieni presente che REINFORCE è noto per avere una varianza elevata, quindi hai bisogno di grandi quantità di dati per ottenere buone stime del gradiente.

Come esempio di REINFORCE per GAN testuali è possibile consultare l' articolo SeqGAN . Un esempio di Gumbel-Softmax è possibile consultare questo articolo .

Un'altra opzione completamente diversa non è avere un'unità stocastica discreta come uscita del generatore (ad es. Generare token in modo deterministico nello spazio incorporato), eliminando quindi il problema originale di backpropagating attraverso di essi.

Esistono ricerche ancora più specifiche su questo argomento:

Il generatore addestrato è in grado di produrre frasi con un certo livello di grammatica e logica.

Xuerong Xiao, "Generazione di testo usando l'addestramento contraddittorio generativo"

Questa domanda si riferisce a questa: https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

Sì, i GAN ora possono essere utilizzati anche per dati discreti. La prima istanza di questa intuizione venne quando i GAN di Wasserstein (WGAN) vennero alla luce. Ian Goodfellow affrontato un approccio di Apprendimento del Rinforzo a questo problema nella Conferenza NIPS 2016 Inoltre, questo articolo tratta degli avanzamenti in GAN rispetto ai dati discreti.