Cosa giustifica questo calcolo della derivata di una funzione matrice?

Nel corso di machine learning di Andrew Ng, usa questa formula:

$\nabla_A tr(ABA^TC) = CAB + C^TAB^T$

e fa una rapida prova che è mostrata di seguito:

$\nabla_A tr(ABA^TC) \\ = \nabla_A tr(f(A)A^TC) \\ = \nabla_{\circ} tr(f(\circ)A^TC) + \nabla_{\circ}tr(f(A)\circ^T C)\\ =(A^TC)^Tf'(\circ) + (\nabla_{\circ^T}tr(f(A)\circ^T C)^T \\ = C^TAB^T + (\nabla_{\circ^T}tr(\circ^T)Cf(A))^T \\ =C^TAB^T + ((Cf(A))^T)^T \\ = C^TAB^T + CAB$

La prova sembra molto densa senza commenti e ho difficoltà a capirla. Che cosa è successo esattamente dalla seconda alla terza uguaglianza?

machine-learning matrix derivative

— L'arte di vincere
fonte

Deve fare ipotesi speciali sulle dimensioni di , e , altrimenti questa formula non ha senso in generale. Sul lato sinistro deve essere presente una matrice , una matrice a e una matrice un per interi arbitrari non negativi . Ma poi i prodotti sulla destra non sarebbero definiti a meno che .

A

$A$

B

$B$

C

$C$

A

$A$

i \times j

$i\times j$

B

$B$

j \times j

$j\times j$

C

$C$

i \times m

$i\times m$

i, j, m

$i,j,m$

i = m

$i=m$

— whuber

@whuber vedo. Date le ipotesi, non capisco ancora come sia avvenuta la transizione dalla seconda alla terza riga in cui introduce .

\circ

$\circ$

— MoneyBall

Tra la seconda e la terza riga ha lasciato . Tra la seconda e la terza linea ha usato la regola del prodotto. successivamente usa la regola della catena per sbarazzarsi di .

f (A) = A B

$f(A)=AB$

f ()

$f()$

— Brian Borchers,

C'è un abuso sottile ma pesante della notazione che rende confusi molti passaggi. Affrontiamo questo problema tornando alle definizioni di moltiplicazione, trasposizione, tracce e derivati della matrice. Per coloro che desiderano omettere le spiegazioni, basta passare all'ultima sezione "Mettere tutto insieme" per vedere quanto breve e semplice può essere una dimostrazione rigorosa.

Notazione e concetti

Dimensioni

Per l'espressione per dare un senso quando è un matrice, deve essere un (quadrato) matrice e deve essere un matrice, da cui il prodotto è un matrice . Per prendere la traccia (che è la somma degli elementi diagonali, ), quindi , facendo $ABA^\prime C$ $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times p$ $m\times p$ $\operatorname{Tr}(X)=\sum_i X_{ii}$ $p=m$ $C$ una matrice quadrata.

Derivati

La notazione " " appare per indicare la derivata di un'espressione rispetto ad . Ordinariamente, la differenziazione è un'operazione eseguita su funzioni . La derivata in un punto è una trasformazione lineare . Scegliendo le basi per questi spazi vettoriali, tale trasformazione può essere rappresentata come una matrice Questo non è il caso qui! $\nabla_A$ $A$ $f:\mathbb{R}^N\to\mathbb{R}^M$ $x\in \mathbb{R}^N$ $Df(x):\mathbb{R}^N\to\mathbb{R}^M$ $M\times N$

Matrici come vettori

Invece, viene considerato come un elemento di : i suoi coefficienti vengono srotolati (di solito riga per riga o colonna per colonna) in un vettore di lunghezza . La funzione ha valori reali, da cui . Di conseguenza, deve essere una matrice : è un vettore di riga che rappresenta una forma lineare su $A$ $\mathbb{R}^{mn}$ $N=mn$ $f(A)=\operatorname{Tr}(ABA^\prime C)$ $M=1$ $Df(x)$ $1\times mn$ . Tuttavia, i calcoli nella domanda usano unmododiversodi rappresentare forme lineari: i loro coefficienti sono riportati inmatrici. $\mathbb{R}^{mn}$ $m\times n$

La traccia come forma lineare

Sia una matrice costante . Quindi, per definizione della traccia e della moltiplicazione della matrice, $\omega$ $m\times n$

\begin{aligned} Tr (A ω^{'}) & = \sum_{i = 1}^{m} (A ω^{'})_{i i} = \sum_{i = 1}^{m} (\sum_{j = 1}^{n} A_{i j} (ω^{'})_{j i}) = \sum_{i, j} ω_{i j} A_{i j} \end{aligned}

$\eqalign{ \operatorname{Tr}(A\omega^\prime) &= \sum_{i=1}^m(A\omega^\prime)_{ii} = \sum_{i=1}^m\left(\sum_{j=1}^n A_{ij}(\omega^\prime)_{ji}\right) = \sum_{i,j} \omega_{ij}A_{ij} }$

Questo esprime la combinazione lineare più generale possibile dei coefficienti di : è una matrice della stessa forma di e il suo coefficiente nella riga e la colonna è il coefficiente di nella combinazione lineare. Poiché , i ruoli di e possono cambiare, dando l'espressione equivalente $A$ $\omega$ $A$ $i$ $j$ $A_{ij}$ $\omega_{ij}A_{ij}=A_{ij}\omega_{ij}$ $\omega$ $A$

\begin{matrix} (1) & \sum_{i, j} ω_{i j} A_{i j} = Tr (A ω^{'}) = Tr (ω A^{'}) . \end{matrix}

$\sum_{i,j} \omega_{ij}A_{ij} = \operatorname{Tr}(A\omega^\prime) = \operatorname{Tr}(\omega A^\prime).\tag{1}$

Identificando una matrice costante con una delle funzioni o , possiamo rappresentare forme lineari sullo spazio di matrici come matrici. (Non confonderli con derivati di funzioni da a !) $\omega$ $A\to \operatorname{Tr}(A \omega^\prime)$ $A\to \operatorname{Tr}(\omega A^\prime)$ $m\times n$ $m\times n$ $\mathbb{R}^n$ $\mathbb{R}^m$

Calcolo di un derivato

La definizione

I derivati di molte delle funzioni della matrice riscontrate nelle statistiche sono calcolati più facilmente e in modo affidabile dalla definizione: non è necessario ricorrere a complicate regole di differenziazione della matrice. Questa definizione dice che è differenziabile in se e solo se esiste una trasformazione lineare tale che $f$ $x$ $L$

f (x + h) - f (x) = L h + o (| h |)

$f(x+h) - f(x) = Lh + o(|h|)$

per arbitrariamente piccoli spostamenti . I piccoli-oh mezzi notazione che l'errore commesso approssimando la differenza da è arbitrariamente minore della dimensione di per sufficientemente piccolo . In particolare, possiamo sempre ignorare errori proporzionali a . $h\in \mathbb{R}^N$ $f(x+h)-f(x)$ $Lh$ $h$ $h$ $|h|^2$

Il calcolo

Applichiamo la definizione alla funzione in questione. Moltiplicando, espandendo e ignorando il termine con un prodotto di due , $h$

\begin{matrix} (2) & \begin{aligned} f (A + h) - f (A) & = Tr ((A + h) B (A + h)^{'} C) - Tr (A B A^{'} C) \\ = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) . \end{aligned} \end{matrix}

$\eqalign{ f(A+h)-f(A) &= \operatorname{Tr}((A+h)B(A+h)^\prime C) - \operatorname{Tr}(ABA^\prime C) \\ &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|).\tag{2} }$

Per identificare la derivata , dobbiamo inserirlo nel modulo . Il primo termine a destra è già in questa forma, con . L'altro termine a destra ha la forma per . Scriviamo questo: $L=Df(A)$ $(1)$ $\omega = BA^\prime C$ $\operatorname{Tr}(Xh^\prime C)$ $X=AB$

\begin{matrix} (3) & Tr (X h^{'} C) = \sum_{i = 1}^{m} \sum_{j = 1}^{n} \sum_{k = 1}^{m} X_{i j} h_{k j} C_{k i} = \sum_{i, j, k} h_{k j} (C_{k i} X_{i j}) = Tr ((C X) h^{'}) . \end{matrix}

$\operatorname{Tr}(Xh^\prime C) = \sum_{i=1}^m\sum_{j=1}^n\sum_{k=1}^m X_{ij} h_{kj} C_{ki} = \sum_{i,j,k}h_{kj} \left(C_{ki}X_{ij}\right) =\operatorname{Tr}((CX)h^\prime).\tag{3}$

Richiamando , può essere riscritto $X=AB$ $(2)$

f (A + h) - f (A) = Tr (h B A^{'} C) + Tr (C A B h^{'}) + o (| h |) .

$f(A+h) - f(A) = \operatorname{Tr}(h\, BA^\prime C\,) + \operatorname{Tr}(CAB\, h^\prime\,)+o(|h|).$

È in questo senso che possiamo considerare la derivata di in come perché queste matrici giocano il ruoli di nelle formule di traccia . $f$ $A$

D f (A) = (B A^{'} C)^{'} + C A B = C^{'} A B^{'} + C A B,

$Df(A) = (BA^\prime C)^\prime + CAB = C^\prime A B^\prime + CAB,$

ω

$\omega$

(1)

$(1)$

Mettere tutto insieme

Ecco quindi una soluzione completa.

Sia una matrice , una matrice an e una matrice an . Sia . Sia una matrice con coefficienti arbitrariamente piccoli. Perché (per identità ) $A$ $m\times n$ $B$ $n\times n$ $C$ $m\times m$ $f(A) = \operatorname{Tr}(ABA^\prime C)$ $h$ $m\times n$ $(3)$ è differenziabile e la sua derivata è la forma lineare determinata dalla matrice
$\begin{aligned} f (A + h) - f (A) & = Tr (h B A^{'} C) + Tr (A B h^{'} C) + o (| h |) \\ = Tr (h (C^{'} A B^{'})^{'} + (C A B) h^{'}) + o (| h |), \end{aligned}$ $\eqalign{f(A+h) - f(A) &= \operatorname{Tr}(hBA^\prime C) +\operatorname{Tr}(ABh^\prime C) + o(|h|) \\ &=\operatorname{Tr}(h(C^\prime A B^\prime)^\prime + (CAB)h^\prime) + o(|h|),}$ $f$ $C^{'} A B^{'} + C A B .$ $C^\prime A B^\prime + CAB.$

Poiché ciò richiede solo circa la metà del lavoro e coinvolge solo le più elementari manipolazioni di matrici e tracce (moltiplicazione e trasposizione), deve essere considerata una dimostrazione più semplice - e probabilmente più evidente - del risultato. Se vuoi davvero capire i singoli passaggi della dimostrazione originale, potresti trovare utile confrontarli con i calcoli mostrati qui.

— whuber
fonte

È utile sapere che in generale,

ogni volta che le matrici sono di dimensioni compatibili. Conoscere questo rende (3) un passaggio banale.

tr (A B C) = tr (C A B)

$\mbox{tr}(ABC)=\mbox{tr}(CAB)$

— Brian Borchers,

@Amoeba Non so dire se stai cercando di essere divertente o no. Né la domanda né la risposta hanno direttamente a che fare con derivati parziali. La forma

è esplicitamente una forma lineare definita nello spazio vettoriale

matrici reali. Quando qualcuno afferma che la derivata di una funzione

in un punto

uguale a una matrice

, ciò che significano è che

(1)

$(1)$

Mat (m, n)

$\operatorname{Mat}(m,n)$

m \times n

$m\times n$

f : Mat (m, n) \to R

$f:\operatorname{Mat}(m,n)\to\mathbb{R}$

A

$A$

ω

$\omega$

D f (A)

$Df(A)$ è la forma lineare data da

X :\to Tr (X ω^{'})

$X:\to\operatorname{Tr}(X\omega^{\,\prime})$

— whuber

@Amoeba Esatto, giustifica ampiamente le affermazioni nella prima riga di questa risposta. È per questo che ho scritto "in questo senso" e, più avanti nel sommario, ho usato la frase "determinato da" anziché "uguale". Non nego che la spiegazione sia stata impegnativa; Penserò a come chiarirlo e apprezzo tutti i tuoi commenti e suggerimenti.

— whuber

@ user10324 La maggior parte di ciò che pubblico su questo sito è la mia formulazione: raramente consulto le fonti (e le documento quando lo faccio). Questi post sono distillazioni dalla lettura di molti libri e documenti. Alcuni dei migliori libri non sono stati quelli che sono matematicamente rigorosamente rigorosi, ma che hanno magnificamente spiegato e illustrato le idee sottostanti. I primi che mi vengono in mente - in ordine di raffinatezza - sono Freedman, Pisani e Purves, Statistics (qualsiasi edizione); Jack Kiefer, Introduzione all'inferenza statistica ; e Steven Shreve, Calcolo stocastico per la finanza II .

— whuber

f (x + h) - f (x) = L h + o (| h |)

$f(x+h)−f(x)=Lh+o(|h|)$

h

$h$

x

$x$

x \in R^{m \times n}

$x \in \mathbb{R}^{m \times n}$

h \in R^{m \times n}

$h \in \mathbb{R}^{m \times n}$