Sorprendentemente questo non è stato chiesto prima - almeno non ho trovato nulla oltre ad alcune domande vagamente correlate.
Quindi, cos'è una rete neurale ricorrente e quali sono i loro vantaggi rispetto alle normali NN?
Risposte:
Le reti neurali ricorrenti (RNN) sono una classe di architettura di reti neurali artificiali ispirata alla connettività ciclica dei neuroni nel cervello. Utilizza loop di funzioni iterative per memorizzare informazioni.
Differenza con le reti neurali tradizionali usando le immagini di questo libro :
E un RNN:
Notare la differenza: le connessioni delle reti neurali feedforward non formano cicli. Se rilassiamo questa condizione e consentiamo anche connessioni cicliche, otteniamo reti neurali ricorrenti (RNN). Puoi vederlo nel livello nascosto dell'architettura.
Mentre la differenza tra un percettrone multistrato e un RNN può sembrare banale, le implicazioni per l'apprendimento sequenziale sono di vasta portata. Un MLP può mappare solo da vettori di input a output , mentre un RNN può in linea di principio mappare dall'intera storia degli input precedenti a ciascun output . In effetti, il risultato equivalente alla teoria universale di approssimazione per le MLP è che un RNN con un numero sufficiente di unità nascoste può approssimare qualsiasi mappatura misurabile da sequenza a sequenza con precisione arbitraria.
Asporto importante:
Le connessioni ricorrenti consentono a una "memoria" di input precedenti di persistere nello stato interno della rete, influenzando così l'output della rete.
Parlare in termini di vantaggi non è appropriato in quanto entrambi sono all'avanguardia e sono particolarmente bravi in determinati compiti. Un'ampia categoria di attività in cui RNN eccellono è:
L'obiettivo dell'etichettatura delle sequenze è assegnare sequenze di etichette, tratte da un alfabeto fisso, a sequenze di dati di input.
Esempio: trascrivere una sequenza di caratteristiche acustiche con parole pronunciate (riconoscimento vocale) o una sequenza di fotogrammi video con gesti delle mani (riconoscimento gestuale).
Alcune delle attività secondarie nell'etichettatura delle sequenze sono:
Classificazione delle sequenze
Le sequenze di etichette sono vincolate alla lunghezza uno. Questa viene definita classificazione della sequenza, poiché ogni sequenza di input è assegnata a una singola classe. Esempi di attività di classificazione in sequenza includono l'identificazione di una singola opera parlata e il riconoscimento di una singola lettera scritta a mano.
Classificazione del segmento
La classificazione dei segmenti si riferisce a quelle attività in cui le sequenze di destinazione sono costituite da più etichette, ma le posizioni delle etichette, ovvero le posizioni dei segmenti di input a cui si applicano le etichette, sono note in anticipo.
Una rete neurale ricorrente (RNN) è una rete neurale artificiale che contiene connessioni all'indietro o auto-connessioni, invece di avere solo connessioni dirette, come in una rete neurale feed-forward (FFNN). L'aggettivo "ricorrente" si riferisce quindi a questo arretrato o alle auto-connessioni, che creano anelli in queste reti.
Un RNN può essere addestrato usando la back-propagation through time (BBTT), in modo tale che questi backward o auto-connessioni "memorizzino" gli input precedentemente visti. Quindi, queste connessioni sono usate principalmente per tracciare le relazioni temporali tra elementi di una sequenza di input, il che rende gli RNN adatti alla previsione di sequenze e compiti simili.
Esistono diversi modelli RNN: ad esempio, RNN con unità LSTM o GRU. LSTM (o GRU) è un RNN le cui singole unità eseguono una trasformazione più complessa di un'unità in un "RNN semplice", che esegue una trasformazione lineare dell'input seguita dall'applicazione di una funzione non lineare (ad esempio ReLU) a questo trasformazione lineare. In teoria, i "semplici RNN" sono potenti quanto gli RNN con unità LSTM. In pratica, soffrono del problema dei "gradienti che svaniscono ed esplodono". Quindi, in pratica, vengono utilizzati LSTM (o simili sofisticate unità ricorrenti).