Quale funzione di perdita dovrei usare per segnare un modello seq2seq RNN?

Sto lavorando al documento Cho 2014 che ha introdotto l'architettura encoder-decoder per la modellazione seq2seq.

Nel documento, sembrano usare la probabilità dell'input dato input (o è la probabilità di log negativo) come funzione di perdita per un input di lunghezza M e output y di lunghezza N :$x$$M$$y$$N$

$P(y_1, …, y_N | x_1, …, x_M) = P(y_1 | x_1, …, x_m) P(y_2 | y_1, x_1, …, x_m) \dots P(y_N | y_1, …, y_N-1, x_1, …, x_m)$

Tuttavia, penso di vedere diversi problemi con l'utilizzo di questo come una funzione di perdita:

1. Sembra presupporre la forzatura dell'insegnante durante l'allenamento (ovvero, invece di utilizzare la congettura del decodificatore per una posizione come input per la successiva iterazione, utilizza il token noto.
2. Non penalizzerebbe lunghe sequenze. Poiché la probabilità è compresa tra e N dell'uscita, se il decodificatore generasse una sequenza più lunga tutto dopo il primo N non determinerebbe la perdita.$1$$N$$N$
3. Se il modello prevede un token di fine stringa precoce, la funzione di perdita richiede ancora passaggi, il che significa che stiamo generando output basati su un "collettore" non addestrato dei modelli. Sembra sciatto.$N$

Qualcuno di questi dubbi è valido? In tal caso, ci sono stati progressi in una funzione di perdita più avanzata?

Sembra presupporre la forzatura dell'insegnante durante l'allenamento (ovvero, invece di utilizzare la congettura del decodificatore per una posizione come input per la successiva iterazione, utilizza il token noto.

$\log P(y_1, \ldots, y_N)$$P(y) = \prod_i P(y_i | y_{<i})$$x$

Data l'ubiquità dell'MLE e la mancanza di buone alternative, non credo che assumere "l'insegnamento forzato" sia discutibile.

Ciononostante ci sono certamente problemi con esso - vale a dire, il modello assegna un'alta probabilità a tutti i punti di dati, ma i campioni del modello non sono necessariamente probabili nella vera distribuzione dei dati (che si traduce in campioni di "bassa qualità"). Potresti essere interessato a "Professor Forcing" (Lamb et al.) Che lo mitiga attraverso una procedura di addestramento contraddittoria senza rinunciare a MLE.

Non penalizzerebbe lunghe sequenze. Poiché la probabilità è compresa tra 1 e N dell'uscita, se il decodificatore generasse una sequenza più lunga tutto dopo il primo N non determinerebbe la perdita.

e

Se il modello prevede un token di fine stringa precoce, la funzione di perdita richiede ancora N passaggi, il che significa che stiamo generando output basati su un "collettore" non addestrato dei modelli. Sembra sciatto.

Nessuno di questi sono problemi che si verificano durante l'allenamento. Invece di pensare a un modello di sequenza autoregressiva come una procedura per generare una previsione, pensalo come un modo per calcolare quanto è probabile una determinata sequenza. Il modello non prevede mai nulla - puoi campionare una sequenza o un token da una distribuzione, oppure puoi chiedergli quale sia il token successivo più probabile - ma questi sono sostanzialmente diversi da una previsione (e non esegui il campionamento durante l'allenamento o).

In tal caso, ci sono stati progressi in una funzione di perdita più avanzata?

Potrebbero esserci degli obiettivi specificamente progettati caso per caso per diverse attività di modellizzazione. Tuttavia, direi che MLE è ancora dominante: il recente modello GPT2 che ha ottenuto prestazioni all'avanguardia su un ampio spettro di attività di modellizzazione e comprensione del linguaggio naturale è stato addestrato con esso.