Definizione della funzione softmax

Questa domanda fa seguito a stats.stackexchange.com/q/233658

Il modello di regressione logistica per le classi {0, 1} è

P (y = 1 | x) = \frac{\exp (w^{T} x)}{1 + \exp (w^{T} x)} P (y = 0 | x) = \frac{1}{1 + \exp (w^{T} x)}

$\mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)}$

Chiaramente queste probabilità si sommano a 1. Impostando potremmo anche definire la regressione logistica come $w = \beta_1 - \beta_0$

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \exp (β_{1}^{T} x)} \forall c \in {0, 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \exp(\beta_1^T x)} \quad \forall \; c \in \{0, 1\}$

Tuttavia, la seconda definizione viene utilizzata raramente perché i coefficienti e non sono univoci. In altre parole, il modello non è identificabile, proprio come la regressione lineare con due variabili che sono multipli l'una dell'altra. $\beta_0$ $\beta_1$

Domanda

Nell'apprendimento automatico, perché il modello di regressione softmax per le classi {0, 1, ..., K - 1} è generalmente definito come segue?

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \dots + \exp (β_{K - 1}^{T} x)} \forall c \in {0, \dots, K - 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \dots + \exp(\beta_{K-1}^T x)} \quad \forall \; c \in \{0, \dots, K-1\}$

Non dovrebbe invece essere

\begin{aligned} P (y = c | x) & = \frac{\exp (w_{c}^{T} x)}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \forall c \in {1, \dots, K - 1} \\ P (y = 0 | x) & = \frac{1}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \end{aligned}

$\begin{align*} \mathbb{P} (y = c \;|\; x) &= \frac{\exp(w_c^T x)}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \quad \forall \; c \in \{1, \dots, K-1\} \\ \mathbb{P} (y = 0 \;|\; x) &= \frac{1}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \end{align*}$

Nota a margine: nelle statistiche, la regressione del softmax è chiamata regressione logistica multinomiale e le classi sono {1, ..., K}. Lo trovo un po 'imbarazzante perché quando K = 2, le classi sono {1, 2} invece di {0, 1}, quindi non è esattamente una generalizzazione della regressione logistica.

— contadino
fonte

Di solito è definito in questo modo? Puoi indicare un riferimento?

— The Laconic,

@TheLaconic Vedi la definizione di softmax su scikit-learn.org/stable/modules/neural_networks_supervised.html e www.tensorflow.org/versions/r1.1/get_started/mnist/beginners

— farmer

OK. Ho chiesto perché non ho mai visto i modelli di regressione MNL definiti in questo modo. Ma a quanto pare è "solito" nel contesto delle reti neurali - e ora ho la stessa domanda come te.

— The Laconic,

Non sono sicuro di come rispondere a una domanda "non dovrebbe essere X". La definizione data è differenziabile e definisce una distribuzione di probabilità (somma a 1). Sembra che quelle siano le parti importanti, quindi perché non dovrebbe essere quello invece dell'altro?

— kbrose,

@kbrose a causa della mancanza di identificabilità

— Taylor,

Sì, hai ragione nel dire che c'è una mancanza di identificabilità a meno che uno dei vettori coerenti sia fisso. Ci sono alcuni motivi che non menzionano questo. Non posso parlare del motivo per cui omettono questo dettaglio, ma ecco una spiegazione di cosa si tratta e come risolverlo.

Descrizione

Diciamo che avete osservazioni e predittori , dove va da a e indica il numero / indice di osservazione. Dovrai stimare i vettori del coefficiente dimensionale . $y_i \in \{0, 1, 2, \ldots, K-1\}$ $\mathbf{x}_i^\intercal \in \mathbb{R}^p$ $i$ $1$ $n$ $K$ $p$ $\boldsymbol{\beta}^0, \boldsymbol{\beta}^1, \ldots, \boldsymbol{\beta}^{K-1}$

La funzione softmax è infatti definita come che ha proprietà piacevoli come la differenziabilità, si somma a , ecc.

softmax (z)_{i} = \frac{\exp (z_{i})}{\sum_{l = 0}^{K - 1} \exp (z_{l})},

$\text{softmax}(\mathbf{z})_i = \frac{\exp(z_i)}{\sum_{l=0}^{K-1}\exp(z_l)},$

1

$1$

La regressione logistica multinomiale utilizza la funzione softmax per ogni osservazione sul vettore $i$

[\begin{matrix} x_{i}^{⊺} β^{0} \\ x_{i}^{⊺} β^{1} \\ ⋮ \\ x_{i}^{⊺} β^{K - 1}, \end{matrix}]

$\begin{bmatrix} \mathbf{x}_i^\intercal \boldsymbol{\beta}^0 \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^1 \\ \vdots \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}, \end{bmatrix}$

che significa

[\begin{matrix} P (y_{i} = 0) \\ P (y_{i} = 1) \\ ⋮ \\ P (y_{i} = K - 1) \end{matrix}] = [\begin{matrix} \frac{\exp [x_{i}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ \frac{\exp [x_{i}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \end{matrix}] .

$\begin{bmatrix} P(y_i = 0) \\ P(y_i = 1) \\ \vdots \\ P(y_i = K-1) \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix}.$

Il problema

Tuttavia, la probabilità non è identificabile perché più raccolte di parametri daranno la stessa probabilità. Ad esempio, lo spostamento di tutti i vettori di coefficiente dello stesso vettore produrrà la stessa probabilità. Questo può essere visto se moltiplichi ciascuno il numeratore e il denominatore di ciascun elemento del vettore per una costante , nulla cambia: $\mathbf{c}$ $\exp[-\mathbf{x}_i^\intercal \mathbf{c}]$

[\begin{matrix} \frac{\exp [x_{i}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ \frac{\exp [x_{i}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} β^{k}]} \end{matrix}] = [\begin{matrix} \frac{\exp [x_{i}^{⊺} (β^{0} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \\ \frac{\exp [x_{i}^{⊺} (β^{1} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \\ ⋮ \\ \frac{\exp [x_{i}^{⊺} (β^{K - 1} - c)]}{\sum_{k = 0}^{K - 1} \exp [x_{i}^{⊺} (β^{k} - c)]} \end{matrix}] .

$\begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^0-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^1-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^{K-1} - \mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k -\mathbf{c}) ] } \end{bmatrix}.$

Risolvendolo

Il modo per risolvere questo problema è limitare i parametri. Risolvere uno di questi porterà all'identificabilità, perché non sarà più consentito spostarli tutti.

Esistono due opzioni comuni:

impostare , che significa (menzionalo), e $\mathbf{c} = \boldsymbol{\beta}^0$ $\boldsymbol{\beta}^0 = \mathbf{0}$
set , che significa . $\mathbf{c} = \boldsymbol{\beta}^{K-1}$ $\boldsymbol{\beta}^{K-1} = \mathbf{0}$

Ignorandolo

A volte, tuttavia, la restrizione non è necessaria. Ad esempio, se eri interessato a formare un intervallo di confidenza per la quantità , allora questo è lo stesso di , quindi deduzione su le quantità relativamente non contano davvero. Inoltre, se l'attività è la previsione anziché l'inferenza dei parametri, le previsioni non saranno influenzate se vengono stimati tutti i vettori di coefficiente (senza vincolarne uno). $\beta^0_1 - \beta^2_1$ $\beta^0_1 - c - [\beta^2_1-c]$

— Taylor
fonte