Tensori nella letteratura sulle reti neurali: qual è la definizione più semplice là fuori?

Nella letteratura della rete neurale, spesso incontriamo la parola "tensore".

È diverso da un vettore? E da una matrice? Hai qualche esempio specifico che chiarisce la sua definizione?

Sono un po 'confuso riguardo alla sua definizione. Wikipedia non aiuta e talvolta ho l'impressione che la sua definizione dipenda dallo specifico ambiente di apprendimento automatico utilizzato (TensorFlow, Caffee, Theano).

Ai fini dell'analisi dei dati, è possibile considerarli efficacemente come array, possibilmente multidimensionali. Quindi includono scalari, vettori, matrici e tutti gli array di ordine superiore.

La definizione matematica precisa è più complicata. Fondamentalmente l'idea è che i tensori trasformano funzioni multilineari in funzioni lineari. Vedi (1) o (2) . (Le funzioni multilineari sono funzioni lineari in ciascuno dei loro componenti, un esempio è il determinante considerato come una funzione dei vettori di colonna.)

Una conseguenza di questa proprietà matematica che definisce i tensori è che i tensori si trasformano bene rispetto ai giacobini, che codificano le trasformazioni da un sistema di coordinate a un altro. Questo è il motivo per cui spesso si vede la definizione di tensore come "un oggetto che si trasforma in un certo modo sotto cambiamenti di coordinate" in fisica. Guarda questo video per esempio o questo .

Se abbiamo a che fare con oggetti sufficientemente "belli" (tutti i derivati ​​che vorremmo esistere e ben definiti sono), allora tutti questi modi di pensare ai tensori sono essenzialmente equivalenti. Si noti che il primo modo di pensare ai tensori che ho citato (array multidimensionali) ignora la distinzione tra tensori covarianti e contravarianti. (La distinzione riguarda il modo in cui i loro coefficienti cambiano in base a un cambiamento di base dello spazio vettoriale sottostante, ovvero essenzialmente tra vettori di riga e colonna.) Vedi queste altre domande StackExchange: (1) (2) (3) (4)

Per un libro usato dai ricercatori che studiano le applicazioni dei tensori alle reti neurali (ad esempio a Technion in Israele), ci sono gli spazi tensoriali e il calcolo numerico di Wolfgang Hackbusch . Non l'ho ancora letto da solo, anche se alcuni dei capitoli successivi sembrano usare la matematica avanzata.