Comprensione dei parametri della funzione di base gaussiana da utilizzare nella regressione lineare

12

Vorrei applicare la funzione di base gaussiana in un'implementazione di regressione lineare. Sfortunatamente non riesco a capire un paio di parametri nella funzione base. In particolare $\mu$ e $\sigma$ .

Il mio set di dati è una matrice 10.000 x 31. 10.000 campioni e 31 funzioni. Ho letto che "Ogni funzione di base converte il vettore di input x in un valore scalare". Quindi suppongo che x sia 1 campione quindi un vettore 1 x 31. Da qui sono confuso. Qual è esattamente il parametro $\mu_j$ ? Ho letto che questo regola le posizioni delle funzioni di base. Quindi questo non è il significato di qualcosa? Sono anche scacciato dal pedice j ( $\mu$ e $\phi$ ), questo mi fa pensare alla jth row. Ma questo non sembra avere senso. È la $\mu_j$ un vettore? Ora per il $\sigma$ che "governa la scala spaziale". Che cos'è esattamente? Ho visto alcune implementazioni che provano valori come .1, .5, 2.5 per questo parametro. Come vengono calcolati questi valori? Ho fatto ricerche e ho cercato esempi da cui imparare, ma al momento non sono riuscito a trovarne. Qualsiasi aiuto o direzione è molto apprezzato! Grazie.

regression machine-learning basis-function

— user2743
fonte

11

Dato che sei confuso, vorrei iniziare affermando il problema e rispondendo alle tue domande una alla volta. Hai una dimensione del campione di 10.000 e ogni campione è descritto da un vettore caratteristica . Se si desidera eseguire la regressione utilizzando le funzioni di base radiale gaussiana, si sta cercando una funzione della forma dove il $x\in\mathbb{R}^{31}$

f (x) = \sum_{j} w_{j} * g_{j} (x; μ_{j}, σ_{j}), j = 1.. m

$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$

g_{i}

$g_i$ sono le tue funzioni di base. Specificamente, è necessario trovare le

pesi

modo che per determinati parametri

e

si minimizzano l'errore tra

ed il corrispondente predizione

=

- tipicamente si ridurrà al minimo l'errore minimi quadrati.

m

$m$

w_{j}

$w_j$

μ_{j}

$\mu_j$

σ_{j}

$\sigma_j$

y

$y$

\hat{y}

$\hat{y}$

f (\hat{x})

$f(\hat{x})$

Qual è esattamente il parametro j del pedice Mu?

È necessario trovare le funzioni di base . (È ancora necessario determinare il numero ) Ogni funzione di base avrà un e un (anche sconosciuto). Il pedice varia da a . $m$ $g_j$ $m$ $\mu_j$ $\sigma_j$ $j$ $1$ $m$

È la un vettore? $\mu_j$

Sì, è un punto in . In altre parole, è un punto da qualche parte nello spazio delle caratteristiche e un deve essere determinato per ciascuna delle funzioni di base . $\mathbb{R}^{31}$ $\mu$ $m$

Ho letto che questo regola le posizioni delle funzioni di base. Quindi questo non è il significato di qualcosa?

La funzione base è centrata su . Dovrai decidere dove si trovano queste posizioni. Quindi no, non è necessariamente la media di nulla (ma vedi più in basso per i modi per determinarlo) $j^{th}$ $\mu_j$

Ora per il sigma che "governa la scala spaziale". Che cos'è esattamente?

è più facile da capire se ci rivolgiamo alle funzioni di base stesse. $\sigma$

Aiuta a pensare alle funzioni della base radiale gaussiana nei dimensoni inferiori, diciamo o . In la funzione di base radiale gaussiana è solo la ben nota curva a campana. Naturalmente la campana può essere stretta o larga. La larghezza è determinata da - più grande è più stretta la forma della campana. In altre parole, ridimensiona la larghezza della forma della campana. Quindi per = 1 non abbiamo ridimensionamento. Per grandi dimensioni abbiamo un ridimensionamento sostanziale. $\mathbb{R}^{1}$ $\mathbb{R}^{2}$ $\mathbb{R}^{1}$ $\sigma$ $\sigma$ $\sigma$ $\sigma$ $\sigma$

Puoi chiedere qual è lo scopo di questo. Se pensi alla campana che copre una parte dello spazio (una linea in ) - una campana stretta coprirà solo una piccola parte della linea *. I punti vicini al centro della campana avranno un valore . I punti lontani dal centro avranno un valore più piccolo . Il ridimensionamento ha l'effetto di spingere i punti più lontano dal centro - poiché i punti di campana si restringono saranno posizionati più lontano dal centro - riducendo il valore di $\mathbb{R}^{1}$ $x$ $g_j(x)$ $g_j(x)$ $g_j(x)$

Ogni funzione di base converte il vettore di input x in un valore scalare

Sì, stai valutando le funzioni di base in qualche punto . $\mathbf{x}\in\mathbb{R}^{31}$

\exp (- \frac{‖ x - μ_{j} ‖_{2}^{2}}{2 * σ_{j}^{2}})

$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$

Di conseguenza, si ottiene uno scalare. Il risultato scalare dipende dalla distanza del punto dal centro dato dae lo scalare . $\mathbf{x}$ $\mu_j$ $\|\mathbf{x}-\mu_j\|$ $\sigma_j$

Ho visto alcune implementazioni che provano valori come .1, .5, 2.5 per questo parametro. Come vengono calcolati questi valori?

Questo ovviamente è uno degli aspetti interessanti e difficili dell'uso delle funzioni di base radiale gaussiana. se cerchi nel web troverai molti suggerimenti su come vengono determinati questi parametri. Descriverò in termini molto semplici una possibilità basata sul raggruppamento. Puoi trovare questo e molti altri suggerimenti online.

Inizia raggruppando i tuoi 10000 campioni (puoi prima usare PCA per ridurre le dimensioni seguito dal clustering k-Means). Puoi lasciare che sia il numero di cluster che trovi (tipicamente impiegando la validazione incrociata per determinare la migliore ). Ora, crea una funzione base radiale per ciascun cluster. Per ogni funzione di base radiale, essere il centro (es. Media, centroide, ecc.) Del cluster. Lascia che rifletta la larghezza del cluster (ad es. Raggio ...) Ora vai avanti ed esegui la tua regressione (questa semplice descrizione è solo una panoramica - ha bisogno di molto lavoro ad ogni passo!) $m$ $m$ $g_j$ $\mu_j$ $\sigma_j$

* Naturalmente, la curva della campana è definita da - a quindi avrà un valore ovunque sulla linea. Tuttavia, i valori lontani dal centro sono trascurabili $\infty$ $\infty$

— martino
fonte

Bella risposta! Tuttavia, cercando , non finiamo con la regressione della macchina vettoriale di supporto (con kernel gaussiano)?

μ

$\mu$

— O_Devinyak,

@ O_Devinyak- Molti metodi di espansione di base richiedono una sorta di stima dei parametri. Esistono molti modi per trovare quindi non credo che ciò significhi necessariamente ridurre il problema a SVR. Ad essere sincero, non sono un esperto di SVR, ma la funzione di perdita minimizzata è sicuramente diversa e sono sicuro che molte delle funzionalità sono ignorate, questo è il modo Support Vector. Con le funzioni di base utilizziamo tutte le funzioni per la valutazione, ma per fortuna un supporto compatto significa che molte delle funzioni di base restituiscono valori neglible o zero. Comunque, sarebbe una buona domanda su questo forum

μ

$\mu$

— martino,

Perché abbiamo bisogno di una scala piuttosto che di una matrice di covarianza che renderebbe la funzione base simile alla parte esponenziale di un gaussiano multivariato?

σ_{j}

$\sigma_j$

— Stackunderflow

1

Vorrei provare a dare una spiegazione semplice. In tale notazione può essere il numero di riga ma può anche essere il numero di funzione. Se scriviamo allora indica il numero della funzione, è il vettore-colonna, è scalare e è una colonna -vettore. Se scriviamo allora indica il numero di riga, è scalare, è vettore-colonna e è un vettore riga. La notazione dove denota riga e colonna denota è più comune, così permesso usare la prima variante. $j$ $y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$ $j$ $y$ $\beta_j$ $\phi_j(x)$ $y_j=\beta\phi_j(x)$ $j$ $y_j$ $\beta$ $\phi_j(x)$ $i$ $j$

Introducendo la funzione di base gaussiana nella regressione lineare, (scalare) ora dipende non dai valori numerici delle caratteristiche (vettore), ma dalle distanze tra e il centro di tutti gli altri punti . In tal modo non dipende dal fatto che il -esimo valore della caratteristica -esima osservazione sia alto o piccolo, ma dipende dal fatto che il -esimo valore della funzione sia vicino o lontano dalla media per quella caratteristica . Quindi non è un parametro, poiché non può essere regolato. È solo una proprietà di un set di dati. Il parametro $y_i$ $x_i$ $x_i$ $\mu_i$ $y_i$ $j$ $i$ $j$ $j$ $\mu_{ij}$ $\mu_j$ $\sigma^2$ è un valore scalare, controlla la scorrevolezza e può essere regolato. Se è piccolo, i piccoli cambiamenti di distanza avranno un grande effetto (ricorda il gaussiano ripido: tutti i punti situati già a una piccola distanza dal centro hanno valori minuscoli ). Se è grande, i piccoli cambiamenti di distanza avranno un effetto basso (ricorda il gaussiano piatto: la diminuzione di all'aumentare della distanza dal centro è lenta). È necessario cercare il valore ottimale di (di solito si trova con la convalida incrociata). $y$ $y$ $\sigma^2$

— O_Devinyak
fonte

0

$x\in\mathbb{R}^{31}$ $\mu_j\in\mathbb{R}^{31}$ $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ $\Sigma_j\in\mathbb{R}^{31\times 31}$ $j$ $j$ $\Sigma_j$ $j$

— Karel Macek
fonte