Un RNN è una rete neurale profonda (DNN) in cui ogni livello può ricevere un nuovo input ma avere gli stessi parametri. BPT è una parola di fantasia per Back Propagation su tale rete che è essa stessa una parola di fantasia per Discesa a Gradiente.
Dire che il RNN uscite y t in ogni passo e
e r r o r t = ( y t - y t ) 2y^t
errort=(yt−y^t)2
Per apprendere i pesi abbiamo bisogno di gradienti affinché la funzione risponda alla domanda "quanto un cambiamento nel parametro ha effetto sulla funzione di perdita?" e spostare i parametri nella direzione indicata da:
∇errort=−2(yt-y^t) ∇y^t
Cioè abbiamo un DNN in cui riceviamo feedback su quanto sia buona la previsione su ogni livello. Dal momento che una modifica del parametro cambierà ogni livello nel DNN (timestep) e ogni livello contribuirà agli output imminenti che devono essere tenuti in considerazione.
Prendi una semplice rete di un neurone-uno strato per vederlo semi-esplicitamente:
y^t+1=∂∂ay^t+1=∂∂by^t+1=∂∂cy^t+1=⟺∇y^t+1=f(a+bxt+cy^t)f′(a+bxt+cy^t)⋅c⋅∂∂ay^tf′(a+bxt+cy^t)⋅(xt+c⋅∂∂by^t)f′(a+bxt+cy^t)⋅(y^t+c⋅∂∂cy^t)f′(a+bxt+cy^t)⋅⎛⎝⎜⎡⎣⎢0xty^t⎤⎦⎥+c∇y^t⎞⎠⎟
δ
⎡⎣⎢a~b~c~⎤⎦⎥←⎡⎣⎢abc⎤⎦⎥+δ(yt−y^t)∇y^t
What we see is that in order to calculate ∇y^t+1 you need to calculate i.e roll out ∇y^t. What you propose is to simply disregard the red part calculate the red part for t but not recurse further. I assume that your loss is something like
error=∑t(yt−y^t)2
Maybe each step will then contribute a crude direction which is enough in aggregation? This could explain your results but I'd be really interested in hearing more about your method/loss function! Also would be interested in a comparison with a two timestep windowed ANN.
edit4: After reading comments it seems like your architecture is not an RNN.
RNN: Stateful - carry forward hidden state ht indefinitely
This is your model but the training is different.
Your model: Stateless - hidden state rebuilt in each step
edit2 : added more refs to DNNs
edit3 : fixed gradstep and some notation
edit5 : Fixed the interpretation of your model after your answer/clarification.