Algoritmo dei minimi quadrati regolarizzati ricorsivi (online)

12

Qualcuno può indicarmi la direzione di un algoritmo online (ricorsivo) per la regolarizzazione di Tikhonov (minimi quadrati regolarizzati)?

In un'impostazione offline, calcolerei usando il mio set di dati originale dove si trova usando la convalida incrociata n-fold. È possibile prevedere un nuovo valore per un dato usando . $\hat\beta=(X^TX+λI)^{−1}X^TY$ $λ$ $y$ $x$ $y=x^T\hat\beta$

In un ambiente online, continuo a disegnare nuovi punti dati. Come posso aggiornare $\hat\beta$ quando disegno nuovi campioni di dati aggiuntivi senza fare un ricalcolo completo sull'intero set di dati (originale + nuovo)?

— rnoodle
fonte

1

I tuoi minimi quadrati regolarizzati da Tikhonov sono forse più comunemente chiamati Levenberg-Marquardt nei circoli statistici, anche se applicati a problemi puramente lineari (come qui). C'è un articolo sul Levenberg Marquardt online qui . Non so se sia di aiuto.

— Glen_b

11

$\hat\beta_n=(XX^T+λI)^{−1} \sum\limits_{i=0}^{n-1} x_iy_i$

Lascia che $M_n^{-1} = (XX^T+λI)^{−1}$ , quindi

$\hat\beta_{n+1}=M_{n+1}^{−1} (\sum\limits_{i=0}^{n-1} x_iy_i + x_ny_n)$ e

$M_{n+1} - M_n = x_nx_n^T$ , possiamo ottenere

$\hat\beta_{n+1}=\hat\beta_{n}+M_{n+1}^{−1} x_n(y_n - x_n^T\hat\beta_{n})$

Secondo la formula di Woodbury , abbiamo

$M_{n+1}^{-1} = M_{n}^{-1} - \frac{M_{n}^{-1}x_nx_n^TM_{n}^{-1}}{(1+x_n^TM_n^{-1}x_n)}$

Di conseguenza,

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n} x_n(y_n - x_n^T\hat\beta_{n})$

La media Polyak indica che è possibile utilizzare per approssimare con intervalli da a . Puoi provare nel tuo caso a selezionare il miglior per la tua ricorsione. $\eta_n = n^{-\alpha}$ $\frac{M_{n}^{−1}}{1 + x_n^TM_n^{-1}x_n}$ $\alpha$ $0.5$ $1$ $\alpha$

Penso che funzioni anche se si applica un algoritmo di gradiente batch:

$\hat\beta_{n+1}=\hat\beta_{n}+\frac{\eta_n}{n} \sum\limits_{i=0}^{n-1}x_i(y_i - x_i^T\hat\beta_{n})$

— lennon310
fonte

Cosa succede se aggiorno ogni volta il mio regressore con campioni batch di nuovi dati, in cui ogni batch successivo viene estratto da una distribuzione leggermente diversa? cioè non IID. In questo caso vorrei che il regressore prendesse in considerazione i nuovi dati, ma non influenzasse le sue previsioni nella località dei vecchi dati (lotti precedenti)? Puoi indicarmi qualsiasi letteratura che potresti ritenere utile?

— rimodella il

Bella domanda, ma scusate al momento non posso dire quanto influenzerebbe il vostro modello se state ancora usando la formula del gradiente batch nella risposta, o approssimando applicando direttamente il modulo matrice: eta ^ (- alpha) * X (Y-X 'beta_n) dove X, Y sono i tuoi nuovi campioni batch

— lennon310,

ciao, sembra che il coefficiente di regolarizzazione non sia coinvolto nella formula di aggiornamento ricorsivo? o importa solo nell'inizializzazione della matrice M inversa?

— Peng Zhao,

4

Un punto che nessuno ha affrontato finora è che in genere non ha senso mantenere costante il parametro di regolarizzazione quando vengono aggiunti punti dati. Il motivo è che in genere crescerà linearmente con il numero di punti dati, mentre il termine di regolarizzazione no. $\lambda$ $\| X \beta -y \|^{2}$ $\| \lambda\beta \|^{2}$

— Brian Borchers
fonte

Questo è un punto interessante. Ma esattamente perché "non ha senso"? Mantenere costante sicuramente è matematicamente valido, quindi "non ha senso" deve essere compreso in qualche tipo di contesto statistico. Ma quale contesto? Cosa non va? Ci sarebbe una sorta di soluzione semplice, come sostituire le somme di quadrati con quadrati medi?

λ

$\lambda$

— whuber

Sostituire la somma dei quadrati con una versione ridimensionata (ad esempio l'errore quadratico medio) avrebbe senso, ma semplicemente usando i minimi quadrati ricorsivi non lo si otterrebbe.

— Brian Borchers,

Per quanto riguarda ciò che potrebbe andare storto, a seconda della scelta di , otterresti una soluzione molto sottoregolarizzata con un gran numero di punti dati o una soluzione molto sovra-regolamentata con un piccolo numero di punti dati.

λ

$\lambda$

— Brian Borchers,

Si potrebbe sospettare che, ma se viene inizialmente sintonizzato dopo aver ricevuto punti dati e quindi vengono aggiunti più punti dati, se le soluzioni risultanti con più punti dati e lo stesso siano sovra o sotto-regolarizzate dipenderà da quelle nuove datapoints. Questo può essere analizzato assumendo datapoints comportano come un campione iid da una distribuzione multivariata, nel qual caso appare dovrebbe essere impostato su nella fase . Ciò cambierebbe le formule di aggiornamento, ma in modo così regolare e semplice che sarebbe ancora possibile un calcolo efficiente. (+1)

λ

$\lambda$

n

$n$

λ

$\lambda$

λ

$\lambda$

N / n

$N/n$

N

$N$

— whuber

3

Forse qualcosa come la discesa gradiente stocastica potrebbe funzionare qui. Calcola usando la tua equazione sopra nel set di dati iniziale, che sarà la tua stima iniziale. Per ogni nuovo punto dati è possibile eseguire una fase di discesa gradiente per aggiornare la stima dei parametri. $\hat{\beta}$

— Max S.
fonte

Da allora mi rendo conto che SGD (forse minibatch) è la strada da percorrere per problemi online come questo, ad esempio l'aggiornamento delle approssimazioni delle funzioni.

— rimodella l'

1

Nella regressione lineare, una possibilità è l'aggiornamento diretto della decomposizione QR di , come spiegato qui . Immagino che, a meno che non si desideri rivalutare dopo aver aggiunto ogni nuovo datapoint, si può fare qualcosa di molto simile con la regressione della cresta. $X$ $\lambda$

— Matteo Fasiolo
fonte

0

Ecco un approccio alternativo (e meno complesso) rispetto all'utilizzo della formula di Woodbury. Si noti che e possono essere scritti come somme . Dal momento che stiamo calcolando le cose on-line e non vogliamo che la somma da far saltare in aria, possiamo in alternativa usare mezzi ( e ). $X^TX$ $X^Ty$ $X^TX/n$ $X^Ty/n$

Se scrivi e come: $X$ $y$

X = (\begin{matrix} x_{1}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}), y = (\begin{matrix} y_{1} \\ ⋮ \\ y_{n} \end{matrix}),

$X = \begin{pmatrix} x_1^T \\ \vdots \\ x_n^T \end{pmatrix}, \quad y = \begin{pmatrix} y_1 \\ \vdots \\ y_n \end{pmatrix},$

possiamo scrivere gli aggiornamenti online per e (calcolato fino al fila -esima) come: $X^TX/n$ $X^Ty/n$ $t$

A_{t} = (1 - \frac{1}{t}) A_{t - 1} + \frac{1}{t} x_{t} x_{t}^{T},

$A_t = \left(1 - \frac{1}{t}\right) A_{t-1} + \frac{1}{t}x_t x_t^T,$

b_{t} = (1 - \frac{1}{t}) b_{t - 1} + \frac{1}{t} x_{t} y_{t} .

$b_t = \left(1 - \frac{1}{t}\right) b_{t-1} + \frac{1}{t}x_t y_t.$

La stima online di diventa quindi $\beta$

{\hat{β}}_{t} = (A_{t} + λ I)^{- 1} b_{t} .

$\hat\beta_t = (A_t + \lambda I)^{-1}b_t.$

Nota che questo aiuta anche a mantenere costante l'interpretazione di quando aggiungi osservazioni! $\lambda$

Questa procedura spiega come https://github.com/joshday/OnlineStats.jl calcola le stime online della regressione lineare / cresta.

— joshday
fonte