Mi chiedo perché l'addestramento di RNN in genere non utilizzi il 100% della GPU.
Ad esempio, se eseguo questo benchmark RNN su un Maxwell Titan X su Ubuntu 14.04.4 LTS x64, l'utilizzo della GPU è inferiore al 90%:
Il benchmark è stato lanciato usando il comando:
python rnn.py -n 'fastlstm' -l 1024 -s 30 -b 128
Come posso diagnosticare il collo di bottiglia?
Risposte:
Ottengo lo stesso tasso di utilizzo quando alleno modelli usando Tensorflow. Il motivo è abbastanza chiaro nel mio caso, sto scegliendo manualmente un batch casuale di campioni e chiamando l'ottimizzazione per ciascun batch separatamente.
Ciò significa che ogni lotto di dati è nella memoria principale, quindi viene copiato nella memoria GPU dove si trova il resto del modello, quindi la propagazione avanti / indietro e l'aggiornamento vengono eseguiti in-gpu, quindi l'esecuzione viene restituita al mio codice dove prendo un altro batch e chiamare l'ottimizzazione su di esso.
Esiste un modo più veloce per farlo se impieghi qualche ora a configurare Tensorflow per eseguire il caricamento batch in parallelo da record TF pre-preparati.
Mi rendo conto che potresti usare o meno tensorflow sotto keras, ma poiché la mia esperienza tende a produrre numeri di utilizzo molto simili, sto andando fuori di testa suggerendo che esiste un collegamento causale ragionevolmente probabile da trarre da queste correlazioni. Se il framework sta caricando ciascun batch dalla memoria principale nella GPU senza l'ulteriore efficienza / complessità del caricamento asincrono (che la stessa GPU può gestire), questo sarebbe un risultato previsto.