Come calcolare i parametri di regolarizzazione nella regressione della cresta dati i gradi di libertà e la matrice di input?

Sia A una matrice di variabili indipendenti e B la matrice corrispondente dei valori dipendenti. Nella regressione ridge, definiamo un parametro in modo tale che: . Ora lascia [usv] = svd (A) e voce diagonale di 's'. definiamo i gradi di libertà (df) = . La regressione della cresta riduce i coefficienti dei componenti a bassa varianza e quindi il parametro controlla i gradi di libertà. Quindi pern × 1 λ β = ( A T A + λ I ) - 1 A T B d i = i t h ∑ n i = 1 ( d i ) $n \times p$$n \times 1$$\lambda$$\beta=(A^\mathrm{T}A+\lambda I)^{-1}A^\mathrm{T}B$$d_{i}=i^{th}$ λλ=$\sum_{i=1}^{n} \frac{(d_{i})^2}{(d_{i})^2+\lambda}$$\lambda$$\lambda=0$, che è il caso della regressione normale, df = n, e quindi verranno prese in considerazione tutte le variabili indipendenti. Il problema che sto affrontando è trovare il valore di dato 'df' e la matrice 's'. Ho provato a riorganizzare l'equazione di cui sopra ma non ottenevo una soluzione a forma chiusa. Fornisci eventuali suggerimenti utili.$\lambda$

Un algoritmo Newton-Raphson / Fisher-scoring / serie Taylor sarebbe adatto a questo.

Hai l'equazione da risolvere per con derivato Quindi ottieni: h ( λ ) = p ∑ i = 1 d 2 $\lambda$ ∂

$$h(\lambda)=\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda}-df=0$$ h(λ)≈h(λ(0))+(λ-λ(0))∂ $$\frac{\partial h}{\partial \lambda}=-\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda)^{2}}$$ $$h(\lambda)\approx h(\lambda^{(0)})+(\lambda-\lambda^{(0)})\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}=0$$

riordinando per ottieni: Imposta la ricerca iterativa. Per i valori iniziali iniziali, assumere nella somma, quindi si ottiene .λ = λ ( 0 ) - [ ∂ $\lambda$d 2 i =1λ(0)=p-d

$$\lambda=\lambda^{(0)}-\left[\frac{\partial h}{\partial \lambda}|_{\lambda=\lambda^{(0)}}\right]^{-1}h(\lambda^{(0)})$$ $d^{2}_{i}=1$$\lambda^{(0)}=\frac{p-df}{df}$

$$\lambda^{(j+1)}=\lambda^{(j)}+\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{(d_{i}^{2}+\lambda^{(j)})^{2}}\right]^{-1}\left[\sum_{i=1}^{p}\frac{d_{i}^{2}}{d_{i}^{2}+\lambda^{(j)}}-df\right]$$

Questo "va" nella giusta direzione (aumenta quando la somma è troppo grande, diminuisce quando è troppo piccola) e in genere richiede solo poche iterazioni per risolverlo. Inoltre la funzione è monotonica (un aumento / diminuzione in diminuirà / aumenterà sempre la somma), in modo che converga in modo univoco (nessun massimo locale).$\lambda$$\lambda$

Ecco il piccolo codice Matlab basato sulla formula dimostrata da probabilitàSlogic:

function [lamda] = calculate_labda(Xnormalised,df)
    [n,p] = size(Xnormalised);   

    %Finding SVD of data
    [u s v]=svd(Xnormalised);
    Di=diag(s);
    Dsq=Di.^2;

    %Newton-rapson method to solve for lamda
    lamdaPrev=(p-df)/df;
    lamdaCur=Inf;%random large value
    diff=lamdaCur-lamdaPrev;   
    threshold=eps(class(XstdArray));    
    while (diff>threshold)          
        numerator=(sum(Dsq ./ (Dsq+lamdaPrev))-df);        
        denominator=sum(Dsq./((Dsq+lamdaPrev).^2));        
        lamdaCur=lamdaPrev+(numerator/denominator);        
        diff=lamdaCur-lamdaPrev;        
        lamdaPrev=lamdaCur;        
    end
    lamda=lamdaCur;
end