Assia di funzione logistica

Ho difficoltà a derivare l'Assia della funzione oggettiva, $l(\theta)$ , nella regressione logistica dove $l(\theta)$ è:

$$l(\theta)=\sum_{i=1}^{m} \left[y_{i} \log(h_\theta(x_{i})) + (1- y_{i}) \log (1 - h_\theta(x_{i}))\right]$$

$h_\theta(x)$ è una funzione logistica. Dell'Hessiana è$X^T D X$ . Ho provato a ricavarlo calcolando$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ , ma poi non era ovvio per me come raggiungere la notazione matriciale da$\frac{\partial^2 l(\theta)}{\partial \theta_i \partial \theta_j}$ .

Qualcuno conosce un modo semplice e pulito di derivare $X^T D X$ ?

Qui traggo tutte le proprietà e le identità necessarie affinché la soluzione sia autonoma, ma a parte ciò questa derivazione è semplice e pulita. Cerchiamo di formalizzare la nostra notazione e di scrivere la funzione di perdita in modo un po 'più compatto. Considera $m$ campioni $\{x_i,y_i\}$ tali che $x_i\in\mathbb{R}^d$ e $y_i\in\mathbb{R}$ . Ricordiamo che nella regressione logistica binaria in genere abbiamo la funzione di ipotesi $h_\theta$ essere la funzione logistica. formalmente

$$h_\theta(x_i)=\sigma(\omega^Tx_i)=\sigma(z_i)=\frac{1}{1+e^{-z_i}},$$

dove $\omega\in\mathbb{R}^d$ e $z_i=\omega^Tx_i$ . La funzione di perdita (che a mio avviso manca di un segno negativo) è quindi definita come:

$$l(\omega)=\sum_{i=1}^m -\Big( y_i\log\sigma(z_i)+(1-y_i)\log(1-\sigma(z_i))\Big)$$

Esistono due importanti proprietà della funzione logistica che desidero qui per riferimento futuro. Innanzitutto, nota che $1-\sigma(z)=1-1/(1+e^{-z})=e^{-z}/(1+e^{-z})=1/(1+e^z)=\sigma(-z)$ .

Si noti anche che

$$\begin{equation} \begin{aligned} \frac{\partial}{\partial z}\sigma(z)=\frac{\partial}{\partial z}(1+e^{-z})^{-1}=e^{-z}(1+e^{-z})^{-2}&=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}} =\sigma(z)(1-\sigma(z)) \end{aligned} \end{equation}$$

Invece di prendere derivati ​​rispetto ai componenti, qui lavoreremo direttamente con i vettori (puoi rivedere i derivati ​​con i vettori qui ). L'assia della funzione di perdita $l(\omega)$ è data da $\vec{\nabla}^2l(\omega)$ , ma prima ricorda che $\frac{\partial z}{\partial \omega} = \frac{x^T\omega}{\partial \omega}=x^T$e$\frac{\partial z}{\partial \omega^T}=\frac{\partial \omega^Tx}{\partial \omega ^T} = x$.

Let $l_i(\omega)=-y_i\log\sigma(z_i)-(1-y_i)\log(1-\sigma(z_i))$. Using the properties we derived above and the chain rule

$$\begin{equation} \begin{aligned} \frac{\partial \log\sigma(z_i)}{\partial \omega^T} &= \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial \omega^T} = \frac{1}{\sigma(z_i)}\frac{\partial\sigma(z_i)}{\partial z_i}\frac{\partial z_i}{\partial \omega^T}=(1-\sigma(z_i))x_i\\ \frac{\partial \log(1-\sigma(z_i))}{\partial \omega^T}&= \frac{1}{1-\sigma(z_i)}\frac{\partial(1-\sigma(z_i))}{\partial \omega^T} =-\sigma(z_i)x_i \end{aligned} \end{equation}$$

It's now trivial to show that

$$\vec{\nabla}l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega^T} =-y_ix_i(1-\sigma(z_i))+(1-y_i)x_i\sigma(z_i)=x_i(\sigma(z_i)-y_i)$$

whew!

Our last step is to compute the Hessian

$$\vec{\nabla}^2l_i(\omega)=\frac{\partial l_i(\omega)}{\partial \omega\partial \omega^T}=x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$$

For $m$ samples we have $\vec{\nabla}^2l(\omega)=\sum_{i=1}^m x_ix_i^T\sigma(z_i)(1-\sigma(z_i))$. This is equivalent to concatenating column vectors $x_i\in\mathbb{R}^d$ into a matrix $X$ of size $d\times m$ such that $\sum_{i=1}^m x_ix_i^T=XX^T$. The scalar terms are combined in a diagonal matrix $D$ such that $D_{ii}=\sigma(z_i)(1-\sigma(z_i))$. Finally, we conclude that

$$\vec{H}(\omega)=\vec{\nabla}^2l(\omega)=XDX^T$$

A faster approach can be derived by considering all samples at once from the beginning and instead work with matrix derivatives. As an extra note, with this formulation it's trivial to show that $l(\omega)$ is convex. Let $\delta$ be any vector such that $\delta\in\mathbb{R}^d$. Then

$$\delta^T\vec{H}(\omega)\delta = \delta^T\vec{\nabla}^2l(\omega)\delta = \delta^TXDX^T\delta = \delta^TXD(\delta^TX)^T = \|\delta^TDX\|^2\geq 0$$

since $D>0$ and $\|\delta^TX\|\geq 0$. This implies $H$ is positive-semidefinite and therefore $l$ is convex (but not strongly convex).