Differenza tra Variable e get_variable in TensorFlow

Per quanto ne so, Variableè l'operazione predefinita per creare una variabile e get_variableviene utilizzata principalmente per la condivisione del peso.

Da un lato, ci sono alcune persone che suggeriscono di utilizzare get_variableinvece Variabledell'operazione primitiva ogni volta che è necessaria una variabile. D'altra parte, vedo semplicemente qualsiasi uso di get_variablenei documenti ufficiali e nelle demo di TensorFlow.

Quindi voglio conoscere alcune regole pratiche su come utilizzare correttamente questi due meccanismi. Esistono principi "standard"?

Consiglio di usarlo sempre tf.get_variable(...): renderà molto più semplice il refactoring del codice se è necessario condividere variabili in qualsiasi momento, ad esempio in un'impostazione multi-gpu (vedere l'esempio CIFAR multi-gpu). Non ci sono svantaggi.

Pure tf.Variableè di livello inferiore; a un certo punto tf.get_variable()non esisteva quindi del codice utilizza ancora il modo di basso livello.

tf.Variable è una classe e ci sono diversi modi per creare tf.Variable tra cui tf.Variable.__init__e tf.get_variable.

tf.Variable.__init__: Crea una nuova variabile con valore_iniziale .

W = tf.Variable(<initial-value>, name=<optional-name>)

tf.get_variable: Ottiene una variabile esistente con questi parametri o ne crea una nuova. Puoi anche usare l'inizializzatore.

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None)

È molto utile utilizzare inizializzatori come xavier_initializer:

W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

Maggiori informazioni qui .

Riesco a trovare due differenze principali tra l'una e l'altra:

1. Il primo è che tf.Variablecreerà sempre una nuova variabile, mentre tf.get_variableottiene una variabile esistente con parametri specificati dal grafico e, se non esiste, ne crea una nuova.

2. tf.Variable richiede che venga specificato un valore iniziale.

È importante chiarire che la funzione tf.get_variableantepone al nome l'ambito della variabile corrente per eseguire i controlli di riutilizzo. Per esempio:

with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #ValueError: Variable one/v already exists
with tf.variable_scope("one", reuse = True):
    c = tf.get_variable("v", [1]) #c.name == "one/v:0"

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0"

assert(a is c)  #Assertion is true, they refer to the same object.
assert(a is d)  #AssertionError: they are different objects
assert(d is e)  #AssertionError: they are different objects

L'ultimo errore di asserzione è interessante: si suppone che due variabili con lo stesso nome sotto lo stesso ambito siano la stessa variabile. Ma se provi i nomi delle variabili de eti renderai conto che Tensorflow ha cambiato il nome della variabile e:

d.name   #d.name == "two/v:0"
e.name   #e.name == "two/v_1:0"

Un'altra differenza sta nel fatto che uno è in ('variable_store',)collezione ma l'altro no.

Si prega di consultare il codice sorgente :

def _get_default_variable_store():
  store = ops.get_collection(_VARSTORE_KEY)
  if store:
    return store[0]
  store = _VariableStore()
  ops.add_to_collection(_VARSTORE_KEY, store)
  return store

Lasciatemi illustrare che:

import tensorflow as tf
from tensorflow.python.framework import ops

embedding_1 = tf.Variable(tf.constant(1.0, shape=[30522, 1024]), name="word_embeddings_1", dtype=tf.float32) 
embedding_2 = tf.get_variable("word_embeddings_2", shape=[30522, 1024])

graph = tf.get_default_graph()
collections = graph.collections

for c in collections:
    stores = ops.get_collection(c)
    print('collection %s: ' % str(c))
    for k, store in enumerate(stores):
        try:
            print('\t%d: %s' % (k, str(store._vars)))
        except:
            print('\t%d: %s' % (k, str(store)))
    print('')

Il risultato:

collection ('__variable_store',): 0: {'word_embeddings_2': <tf.Variable 'word_embeddings_2:0' shape=(30522, 1024) dtype=float32_ref>}