Ridge ha penalizzato i GLM utilizzando l'aumento di riga?

Ho letto che la regressione della cresta potrebbe essere ottenuta semplicemente aggiungendo righe di dati alla matrice di dati originale, dove ogni riga è costruita usando 0 per le variabili dipendenti e la radice quadrata di o zero per le variabili indipendenti. Viene quindi aggiunta una riga aggiuntiva per ogni variabile indipendente.$k$

Mi chiedevo se fosse possibile ottenere una prova per tutti i casi, inclusa la regressione logistica o altri GLM.

La regressione della cresta minimizza .$\sum_{i=1}^n (y_i-x_i^T\beta)^2+\lambda\sum_{j=1}^p\beta_j^2$

(Spesso è necessaria una costante, ma non ridotta. In tal caso è inclusa in e predittori - ma se non si desidera ridurla, non si dispone di una riga corrispondente per la pseudo osservazione. Oppure se si vuole ridurlo, si fa hai una riga per questo. io lo scrivo come se non è conteggiato nel , e non rattrappito, come è il caso più complicato. l'altro caso è un cambiamento banale da questo .)$\beta$$p$

Possiamo scrivere il secondo termine come pseudo-osservazioni se possiamo scrivere ogni "y" e ciascuno dei corrispondenti -vettori "x" tale che( p + 1 $p$$(p+1)$

$(y_{n+j}-x_{n+j}^T\beta)^2=\lambda\beta_j^2\,,\quad j=1,\ldots,p$

Ma per ispezione, lascia semplicemente , lascia e lascia che tutti gli altri (incluso genere).$y_{n+j}=0$$x_{n+j,j}=\sqrt{\lambda}$$x_{n+j,k}=0$$x_{n+j,0}=0$

Poi

$(y_{n+j}-[x_{n+j,0}\beta_0+x_{n+j,1}\beta_1+x_{n+j,2}\beta_2+...+x_{n+j,p}\beta_p])^2=\lambda\beta_j^2$ .

Questo funziona per la regressione lineare. Non funziona per la regressione logistica, poiché la regressione logistica ordinaria non riduce al minimo una somma di residui quadrati.

[La regressione della cresta non è l'unica cosa che può essere fatta tramite tali trucchi di pseudo-osservazione: emergono in un numero di altri contesti]

In effetti, generalizzare questa ricetta con i GLM non è difficile in quanto i GLM sono generalmente adatti usando i minimi quadrati iterativamente ripesati . Quindi, all'interno di ogni iterazione si può sostituire il gradino dei minimi quadrati ponderati regolari con un gradino dei minimi quadrati ponderati con cresta penalizzata per ottenere un GLM penalizzato con cresta. In effetti, in combinazione con penalità adattive della cresta, questa ricetta viene utilizzata per adattarsi a GLM penalizzati L0 (ovvero il miglior sottoinsieme, ovvero GLM in cui viene penalizzato il numero totale di coefficienti diversi da zero). Questo è stato implementato ad esempio nel pacchetto l0ara , vedere questo documento e questo per i dettagli.

Vale anche la pena notare che sta usando il modo più veloce in forma chiusa per risolvere una regressione della cresta regolare

lmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  solve(crossprod(X) + diag(lambdas), crossprod(X, y))[, 1]
}

nel caso in cui n>=po utilizzando

lmridge_solve_largep = function (X, Y, lambda) (t(X) %*% solve(tcrossprod(X)+lambda*diag(nrow(X)), Y))[,1]

quando p>ne per un modello senza intercettazione.

Questo è più veloce rispetto all'utilizzo della ricetta per l'aumento di riga , ovvero fare

lmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  qr.solve(rbind(X, diag(sqrt(lambdas))), c(y, rep(0, ncol(X))))
}

Se ti capita di aver bisogno di vincoli di non negatività sui tuoi coefficienti adattati, allora puoi semplicemente farlo

library(nnls)

nnlmridge_solve = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x
}

che quindi dà un risultato leggermente più accurato tra

nnlmridge_rbind = function (X, y, lambda, intercept = TRUE) {
  if (intercept) {
    lambdas = c(0, rep(lambda, ncol(X)))
    X = cbind(1, X)
  } else { lambdas = rep(lambda, ncol(X)) }
  nnls(A=rbind(X,diag(sqrt(lambdas))), b=c(Y,rep(0,ncol(X))))$x 
}

(e a rigor di termini solo la soluzione nnls(A=crossprod(X)+diag(lambdas), b=crossprod(X,Y))$x è quindi quella corretta).

Non ho ancora capito come il caso vincolato dalla non negatività potrebbe essere ulteriormente ottimizzato per il p > ncaso - fammi sapere se qualcuno capita come fare per farlo ... [ lmridge_nnls_largep = function (X, Y, lambda) t(X) %*% nnls(A=tcrossprod(X)+lambda*diag(nrow(X)), b=Y)$xnon funziona]