Inversione della regressione della cresta: dati la matrice di risposta e i coefficienti di regressione, trova predittori adatti

Considera un problema di regressione OLS standard : Ho matrici e e voglio trovare per minimizzare La soluzione è data da $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

Posso anche porre un problema "inverso": dato $\Y$ e $\B^*$ , trova $\hat\X$ che produrrebbe $\hat\B\approx \B^*$ , cioè minimizzerebbe $\|\argmin_\B\{L\}-\B^*\|^2$ . In parole, ho la matrice di risposta $\Y$ e il vettore coefficiente $\B^*$ e voglio trovare la matrice predittore che produrrebbe coefficienti vicini a $\B^*$ . Questo è, ovviamente, anche un problema di regressione OLS con la soluzione

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

Aggiornamento di chiarimento: come ha spiegato @ GeoMatt22 nella sua risposta, se $\Y$ è un vettore (ovvero se esiste solo una variabile di risposta), allora questo $\hat \X$ sarà al primo posto e il problema inverso è enormemente sottodeterminato. Nel mio caso, $\Y$ è in realtà una matrice (cioè ci sono molte variabili di risposta, è una regressione multivariata ). Quindi $\X$ è $n\times p$ , $\Y$ è $n\times q$ e $\B$ è $p\times q$ .

Sono interessato a risolvere un problema "inverso" per la regressione della cresta. Vale a dire, la mia funzione di perdita ora è e la soluzione è

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

Il problema "inverso" è trovare

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

Ancora una volta, ho una matrice di risposta $\Y$ e un vettore coefficiente $\B^*$ e voglio trovare una matrice predittore che produca coefficienti vicini a $\B^*$ .

In realtà ci sono due formulazioni correlate:

Trova $\hat\X$ dato $\Y$ e $\B^*$ e $\mu$ .
Trova e dati e . $\hat\X$ $\hat \mu$ $\Y$ $\B^*$

Uno di loro ha una soluzione diretta?

Ecco un breve estratto di Matlab per illustrare il problema:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

Questo codice restituisce zero se mu=0ma non diversamente.

regression least-squares ridge-regression

— ameba dice Reinstate Monica
fonte

Dato che vengono dati e , non influenzano le variazioni della perdita. Pertanto in (1) stai ancora facendo OLS. (2) è altrettanto semplice, perché la perdita può essere arbitrariamente ridotta prendendo arbitrariamente negativo, entro i limiti di eventuali vincoli che si confrontano per imporvi. Ciò ti riduce al caso (1).

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@whuber Grazie. Penso di non averlo spiegato abbastanza chiaramente. Considerare (1). e sono indicati (chiamiamolo ), ma devo trovare che produrrebbe coefficienti di regressione della cresta vicini a , in altre parole voglio trovare

minimizza

Non vedo perché questo dovrebbe essere OLS.

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— ameba dice Reinstate Monica

È come se avessi

e voglio trovare

tale che

è vicino a una data

. Non è lo stesso di trovare

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— ameba dice Reinstate Monica il

L'esposizione nel tuo post è fonte di confusione su questo argomento, perché evidentemente si sta non effettivamente utilizzando

in funzione di perdita. Potresti forse approfondire le specifiche dei problemi (1) e (2) nel post?

L

$L$

— whuber

@ hxd1011 Molte colonne in X sono generalmente chiamate "regressione multipla", molte colonne in Y sono generalmente chiamate "regressione multivariata".

— ameba dice Reinstate Monica il

Ora che la domanda è convergente su una formulazione più precisa del problema di interesse, ho trovato una soluzione per il caso 1 (parametro di cresta noto). Questo dovrebbe aiutare anche per il caso 2 (non esattamente una soluzione analitica, ma una formula semplice e alcuni vincoli).

Riepilogo: nessuna delle due formulazioni inverse del problema ha una risposta unica. Nel caso 2 , dove il parametro di cresta è sconosciuto, ci sono infinite soluzioni , per . Nel caso 1, dove viene dato , esiste un numero finito di soluzioni per , a causa dell'ambiguità nello spettro del valore singolare. $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(La derivazione è un po 'lunga, quindi TL, DR: alla fine c'è un codice Matlab funzionante.)

Caso indeterminato ("OLS")

Il problema in avanti è dove , e .

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

Sulla base della domanda aggiornato, assumeremo , quindi è sotto determinato in e . Come in questione, assumeremo il "default" (minimo -norm) Soluzione dove è il pseudoinversa di . $n<p<q$ $B$ $X$ $Y$ $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

Dalla decomposizione del valore singolare ( SVD ) di , data da * lo pseudoinverso può essere calcolato come ** (* Le prime espressioni usano il SVD completo, mentre le seconde espressioni usano il SVD ridotto. ** Per semplicità suppongo che abbia il rango completo, cioè che esiste.) $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

Quindi il problema in avanti ha la soluzione Per riferimento futuro, noto che , dove è il vettore di valori singolari.

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

Nel problema inverso, c'è dato e . Sappiamo che è venuto dal processo di cui sopra, ma non sappiamo . Il compito è quindi determinare la appropriata . $Y$ $B$ $B$ $X$ $X$

Come indicato nella domanda aggiornato, in questo caso possiamo recuperare usando essenzialmente lo stesso approccio, ovvero ora usando l'pseudoinversa di . $X$

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

Caso troppo determinato (stimatore di cresta)

Nel caso "OLS", il problema sottostimato è stato risolto scegliendo la soluzione a norma minima , ovvero la nostra soluzione "unica" è stata implicitamente regolarizzata .

Piuttosto che scegliere la soluzione della norma minima , qui introduciamo un parametro per controllare "quanto piccola" dovrebbe essere la norma, cioè usiamo la regressione della cresta . $\omega$

In questo caso, abbiamo una serie di problemi in avanti per , , che sono dati da Raccogliere i diversi sinistra e destra vettori lato mano in $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

questa raccolta di problemi può essere ridotta al seguente problema "OLS"

dove abbiamo introdotto le matrici aumentate

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

$\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

$X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$ $p$ $n$

$\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

$\hat{X}$ will give the same forward $B$ ridge-solution, even when $\sigma_0$ differs from $\mathrm{SVD}[X]$ .

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
fonte

+11. Grazie mille per tutto lo sforzo che hai dedicato a rispondere a questa domanda e per tutte le discussioni che abbiamo avuto. Questo sembra rispondere completamente alla mia domanda. Ho sentito che accettare semplicemente la tua risposta non è abbastanza in questo caso; questo merita molto più di due voti che questa risposta ha attualmente. Saluti.

— ameba dice Ripristina Monica il

@amoeba grazie! Sono contento che sia stato utile. Penso che pubblicherò un commento sulla risposta di Whuber che link chiederai se pensa che sia appropriato e / o se c'è una risposta migliore da usare. (Nota che ha la precedenza sulla sua discussione SVD con la condizione

p \leq n

$p\leq n$ , cioè un eccesso determinato

X

$X$ .)

— GeoMatt22,

@ GeoMatt22 il mio commento sulla domanda originale dice che l'uso pinvnon è una buona cosa, sei d'accordo?

— Haitao Du

@ hxd1011 In generale (quasi) non si vuole mai invertire esplicitamente una matrice numericamente, e questo vale anche per lo pseudo-inverso. I due motivi per cui l'ho usato qui sono 1) coerenza con le equazioni matematiche + codice demo di amoeba e 2) per il caso di sistemi indefiniti, le soluzioni "slash" predefinite di Matlab possono differire da quelle pinv . Quasi tutti i casi nel mio codice potrebbero essere sostituiti dai comandi \ o / appropriati, che sono generalmente da preferire. (Questi consentono a Matlab di decidere il risolutore diretto più efficace.)

— GeoMatt22,

@hxd1011 to clarify on point 2 of my previous comment, from the link in your comment on the original question: "If the rank of A is less than the number of columns in A, then x = A\B is not necessarily the minimum norm solution. The more computationally expensive x = pinv(A)*B computes the minimum norm least-squares solution.".

— GeoMatt22