Cosa significa "condividere i parametri tra funzionalità e classi"

Durante la lettura di questo documento c'è una riga che dice "i classificatori lineari non condividono i parametri tra caratteristiche e classi". Qual è il significato di questa affermazione? Significa che i classificatori lineari come la regressione logistica necessitano di funzioni reciprocamente indipendenti?

machine-learning logistic-regression multilabel-classification

— Joydeep Bhattacharjee
fonte

Proverò a rispondere a questa domanda attraverso la regressione logistica , uno dei classificatori lineari più semplici.

Il caso più semplice di regressione logistica è se abbiamo un'attività di classificazione binaria ( e solo una funzione di input ( ). In questo caso l'output della regressione logistica sarebbe: $y \in\{0,1\})$ $x \in R$

\hat{y} = σ (w \cdot x + b)

$\hat y = σ(w \cdot x + b)$ dove

w

$w$ e

b

$b$ sono entrambi scalari . L'output del modello

\hat{y} \in [0, 1]

$\hat y \in [0,1]$ corrisponde alla probabilità che

x

$x$ sia di classe

1

$1$ .

Cercheremo di scomporre la frase "i classificatori lineari non condividono i parametri tra caratteristiche e classi" in due parti. Esamineremo i casi di più funzionalità e più classi separatamente per vedere se la regressione logistica condivide i parametri per tali attività:

I classificatori lineari condividono i parametri tra le funzionalità?

In questo caso, per ogni esempio, $y$ è uno scalare che accetta valori binari (come prima), mentre $x$ è un vettore di lunghezza $N$ (dove $N$ è il numero di funzioni). Qui, l'output è una combinazione lineare delle funzionalità di input (ovvero una somma ponderata di queste funzionalità più i pregiudizi).

\hat{y} = σ (\sum_{i}^{N} (w_{i} \cdot x_{i}) + b) o r σ (w \cdot x + b)

$\hat y = σ \left(\sum_i^N{(w_i \cdot x_i)} + b\right) \;\; or \;\; σ( \mathbf w \cdot \mathbf x + b)$ dove e sono vettori di lunghezza . Il prodotto produce uno scalare. Come puoi vedere dall'alto, esiste un peso separato per ciascuna funzione di input e questi pesi sono indipendenti in ogni caso. Da ciò possiamo concludere che non esiste una condivisione dei parametri tra le funzionalità .

x

$\mathbf x$

w

$\mathbf w$

N

$N$

x \cdot w

$\mathbf x \cdot \mathbf w$

w_{i}

$w_i$

x_{i}

$x_i$

I classificatori lineari condividono i parametri tra le classi?

In questo caso è uno scalare, tuttavia è un vettore di lunghezza (dove è il numero di classi). Per ovviare a questo, la regressione logistica produce essenzialmente un output separato per ciascuna delle classiOgni output è uno scalare e corrisponde alla probabilità di appartenente alla classe . $x$ $y$ $M$ $M$ $y_j$ $M$ $y_j \in [0,1]$ $x$ $j$

\hat{y} = w \cdot x + b, w h e r e \hat{y} = {\hat{y}}_{1}, {\hat{y}}_{2}, . . ., y_{M}

$\mathbf{ \hat y} = w \cdot \mathbf x + \mathbf b, \;\; where \;\; \mathbf{ \hat y} = {\hat y_1, \hat y_2, ..., y_M}$

Il modo più semplice di pensare a questo è come semplici regressioni logistiche indipendenti ciascuna con un output di: $M$

{\hat{y}}_{j} = σ (w_{j} \cdot x + b_{j})

$\hat y_j = σ(w_j \cdot x + b_j)$

Da quanto precede è ovvio che non sono condivisi pesi tra le diverse classi .

multi-funzione e multi-classe :

Combinando i due casi precedenti possiamo finalmente raggiungere il caso più generale di più funzionalità e più classi:

\hat{y} = σ (W \cdot x + b)

$\mathbf{ \hat y} = σ( \mathbf W \cdot \mathbf x + \mathbf b)$ dove è un vettore con una dimensione di , è un vettore con una dimensione di , è un vettore con una dimensione di e è una matrice con una dimensione di .

\hat{y}

$\mathbf{ \hat y}$

M

$M$

x

$\mathbf x$

N

$N$

b

$\mathbf b$

M

$M$

W

$W$

(N \times M)

$(N \times M)$

In ogni caso, i classificatori lineari non condividono alcun parametro tra caratteristiche o classi .

Per rispondere alla tua seconda domanda, i classificatori lineari hanno il presupposto che le caratteristiche debbano essere indipendenti , tuttavia non è questo che intendeva dire l'autore dell'articolo.

— Djib2011
fonte

Bella spiegazione. :)

— joydeep bhattacharjee,