Dalla regola Perceptron alla Discesa del gradiente: in che modo Perceptrons con una funzione di attivazione sigmoidea differisce dalla regressione logistica?

21

In sostanza, la mia domanda è che nei Perceptron multistrato, i percettroni sono usati con una funzione di attivazione sigmoidea. In modo che nella regola di aggiornamento sia calcolato come $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

In che modo questo "sigmoide" Perceptron differisce quindi da una regressione logistica?

Direi che un percettrone sigmoideo a strato singolo equivale a una regressione logistica nel senso che entrambi usano nella regola di aggiornamento. Inoltre, entrambi restituiscono $\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$ $\operatorname{sign}(\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)})$ nella previsione. Tuttavia, nei percetroni multistrato, la funzione di attivazione sigmoidea viene utilizzata per restituire una probabilità, non un segnale on / off in contrasto con la regressione logistica e un percettrone a strato singolo.

Penso che l'uso del termine "Perceptron" possa essere un po 'ambiguo, quindi lasciatemi fornire alcuni retroscena basati sulla mia attuale comprensione dei percetroni a strato singolo:

Regola percettiva classica

Innanzitutto, il classico perceptron di F. Rosenblatt in cui abbiamo una funzione di passaggio:

Δ w_{d} = η (y_{i} - \hat{y_{i}}) x_{i d} y_{i}, \hat{y_{i}} \in {- 1, 1}

$\Delta w_d = \eta(y_{i} - \hat{y_i})x_{id} \quad\quad y_{i}, \hat{y_i} \in \{-1,1\}$

per aggiornare i pesi

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

In modo che sia calcolato come $\hat{y}$

\hat{y} = sign (w^{T} x_{i}) = sign (w_{0} + w_{1} x_{i 1} + . . . + w_{d} x_{i d})

$\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i) = \operatorname{sign}(w_0 + w_1x_{i1} + ... + w_dx_{id})$

Discesa a gradiente

Usando la discesa gradiente, ottimizziamo (minimizziamo) la funzione di costo

J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R

$J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

dove abbiamo numeri "reali", quindi vedo questo sostanzialmente analogo alla regressione lineare con la differenza che il nostro output di classificazione è soglia.

Qui, facciamo un passo nella direzione negativa del gradiente quando aggiorniamo i pesi

Δ w_{k} = - η \frac{\partial J}{\partial w_{k}} = - η \sum_{i} (y_{i} - \hat{y_{i}}) (- x_{i k}) = η \sum_{i} (y_{i} - \hat{y_{i}}) x_{i k}

$\Delta w_k = - \eta \frac{\partial J}{\partial w_k} = - \eta \sum_i (y_i - \hat{y_i})(- x_{ik}) = \eta \sum_i (y_i - \hat{y_i})x_{ik}$

Ma qui abbiamo invece di $\hat{y} = \mathbf{w}^T\mathbf{x}_i$ $\hat{y} = \operatorname{sign}(\mathbf{w}^T\mathbf{x}_i)$

w_{k} := w_{k} + Δ w_{k} (k \in {1, . . ., d})

$w_k := w_k + \Delta w_k \quad \quad (k \in \{1, ..., d\})$

Inoltre, calcoliamo la somma degli errori al quadrato per un passaggio completo sull'intero set di dati di allenamento (nella modalità di apprendimento batch) in contrasto con la classica regola percettrone che aggiorna i pesi all'arrivo di nuovi campioni di allenamento (analogico alla discesa gradiente stocastica - online apprendimento).

Funzione di attivazione sigmoide

Ora, ecco la mia domanda:

Nei Perceptron multistrato, i percettroni sono usati con una funzione di attivazione sigmoidea. In modo che nella regola di aggiornamento sia calcolato come $\hat{y}$

\hat{y} = \frac{1}{1 + \exp (- w^{T} x_{i})}

$\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)}$

In che modo questo "sigmoide" Perceptron differisce quindi da una regressione logistica?

4

Incredibile, questa domanda da sola mi ha permesso di condensare il mio apprendimento automatico e le basi della rete neurale!

— varun,

4

Usando la discesa gradiente, ottimizziamo (minimizziamo) la funzione di costo

$J (w) = \sum_{i} \frac{1}{2} (y_{i} - \hat{y_{i}})^{2} y_{i}, \hat{y_{i}} \in R$ $J(\mathbf{w}) = \sum_{i} \frac{1}{2}(y_i - \hat{y_i})^2 \quad \quad y_i,\hat{y_i} \in \mathbb{R}$

Se minimizzi l'errore al quadrato medio, allora è diverso dalla regressione logistica. La regressione logistica è normalmente associata alla perdita di entropia crociata, ecco una pagina introduttiva della libreria scikit-learn .

(Presumo che i percettroni multistrato siano la stessa cosa chiamata reti neurali.)

Se hai usato la perdita di entropia incrociata (con regolarizzazione) per una rete neurale a singolo strato, sarà lo stesso modello (modello log-lineare) della regressione logistica. Se si utilizza invece una rete multistrato, può essere considerata una regressione logistica con funzioni di base parametriche non lineari.

Tuttavia, nei percetroni multistrato, la funzione di attivazione sigmoidea viene utilizzata per restituire una probabilità, non un segnale on / off in contrasto con la regressione logistica e un percettrone a strato singolo.

L'output della regressione logistica e delle reti neurali con funzione di attivazione sigmoidea può essere interpretato come probabilità. Poiché la perdita di entropia incrociata è in realtà la probabilità di log negativa definita attraverso la distribuzione di Bernoulli.

— dontloo
fonte

2

Perché la discesa gradiente aggiorna ogni parametro in modo da ridurre l'errore di output che deve essere la funzione continua di tutti i parametri. L'attivazione basata su soglia non è differenziabile, per questo motivo viene utilizzata l'attivazione sigmoid o tanh.

Ecco un NN a strato singolo

$\frac{dJ(w,b)}{d\omega_{kj}} =\frac{dJ(w,b)}{dz_k}\cdot \frac{dz_k}{d\omega_{kj}}$

$\frac{dJ(w,b)}{dz_k} = (a_k -y_k)(a_k(1-a_k))$

$\frac{dz_k}{d\omega_{kj}} = x_k$

$J(w,b) = \frac{1}{2} (y_k - a_k)^2$

$a_k = sigm(z_k) = sigm(W_{kj}*x_k + b_k)$

se funzione di attivazione fosse una funzione passo base (soglia), derivato di wrt sarebbe non differenziabile. $J$ $z_k$

ecco un link che lo spiega in generale.

Modifica: Forse, ho capito male cosa intendi per perceptron. Se non sbaglio, perceptron è la somma ponderata degli input. Se si modifica la ritenuta con la funzione logistica, si trasforma in regressione logistica. NN multistrato con funzioni di attivazione sigmoide (logistica) sono strati in cascata composti da regressioni logistiche.

— yasin.yazici
fonte

3

Questo non risponde alla domanda.

— Neil G,

Grazie per aver scritto questo bel commento, ma non era quello che stavo chiedendo. La mia domanda non era "perché la discesa gradiente" ma "cosa rende un percettrone con una funzione di attivazione sigmoidea diversa dalla regressione logistica"

y = W^{T} X

$y = W^T X$

1

y = w_{j}^{T} x_{j i}

$y = w_j^Tx_{ji}$

η (y - s i g n (w^{T} x_{i})) x

$\eta (y - sign(w^Tx_i))x$

η (y - w^{T} x_{i}) x_{i}

$\eta (y - w^Tx_i)x_i$

2

Intuitivamente, penso a un percettrone multistrato come calcolare una trasformazione non lineare sulle mie caratteristiche di input e quindi alimentare queste variabili trasformate in una regressione logistica.

$\beta_i X$ $i$ $\frac{\beta_i X}{\sum_j \beta_j X}$

Non so te, ma nei miei corsi di modellistica e ricerca ho provato tutti i tipi di trasformazioni sensate e stupide delle funzionalità di input per migliorare il loro significato e la previsione generale del modello. Squadrando le cose, prendendo i tronchi, combinandone due in un ritmo, ecc. Non avevo vergogna, ma avevo una pazienza limitata.

$X$ $\beta_i$

— Dan Van Boxel
fonte