AIC della regressione della cresta: gradi di libertà vs. numero di parametri

Voglio calcolare l'AICc di un modello di regressione della cresta. Il problema è il numero di parametri. Per la regressione lineare, la maggior parte delle persone suggerisce che il numero di parametri è uguale al numero di coefficienti stimati più sigma (la varianza dell'errore).

Quando si tratta di regressione della cresta, ho letto che la traccia della matrice del cappello - il grado di libertà (df) - è semplicemente usata come il numero di termini termine nella formula AIC (ad esempio qui o qui ).

È corretto? Posso anche semplicemente usare il df per calcolare l'AICc? Posso semplicemente aggiungere +1 a df per tenere conto della varianza dell'errore?

— giuliano
fonte

Mi piace questa domanda perché gli input generali per AICc sono RSS, k e n - ma tende a non selezionare modelli robusti rispetto ai modelli con il minimo errore per lo stesso numero di parametri. Se si utilizza lo stesso approccio di adattamento per i modelli candidati e si stanno adattando gli stessi dati, la selezione del modello è la selezione del modello. Mi piace la domanda su come misurare la migliore teoria delle informazioni con lo stesso modello e dati, ma usando tipi di adattamento diversi come l'errore al minimo quadrato e la perdita di Huber.

— EngrStudent - Ripristina Monica il

@EngrStudent, solo una piccola nota: RSS è un caso speciale di normale verosimiglianza. Quando si presume una diversa distribuzione (non normale), l'AIC non conterrà RSS ma piuttosto la probabilità logaritmica del modello. Inoltre, tipi di adattamento : intendi funzioni di perdita con cui viene valutato il modello o funzione di perdita utilizzata per adattarsi al modello o qualcos'altro?

— Richard Hardy,

Vedi: web.mit.edu/lrosasco/www/publications/model_focm.pdf

— kjetil b halvorsen

@RichardHardy - Hai ragione sulla normale verosimiglianza! In pratica il teorema del limite centrale viene sovrautilizzato. In questo caso ha significato lo stesso quando ho detto "funzione adatta" e tu dici "funzione perdita". Penso ai minimi quadrati in termini di pseudo-inversioni prima e metriche di errore in secondo luogo. È un artefatto "sequenza di apprendimento" nei miei processi di pensiero e comunicazione.

— EngrStudent - Ripristina Monica il

@EngrStudent, grazie. Si noti inoltre che ho offerto due usi per una funzione di perdita: adattamento (funzione obiettivo empirica da cui deriva uno stimatore) e valutazione (funzione obiettivo teorica che desideriamo ottimizzare).

— Richard Hardy,

La regressione di AIC e cresta può essere resa compatibile quando vengono fatte determinate ipotesi. Tuttavia, non esiste un metodo unico per scegliere un restringimento per la regressione della cresta, quindi non esiste un metodo generale per applicare l'AIC ad esso. La regressione della cresta è un sottoinsieme della regolarizzazione di Tikhonov . Esistono molti criteri che possono essere applicati alla selezione dei fattori di livellamento per la regolarizzazione di Tikhonov, ad esempio, vedere questo . Per usare l'AIC in quel contesto, c'è un documento che fa ipotesi piuttosto specifiche su come eseguire quella regolarizzazione, selezione dei parametri di regolarizzazione basata sulla complessità delle informazioni per la soluzione di problemi inversi mal condizionati . In particolare, questo presuppone

$\sigma ^2$ $p(x) =$

$b$ $\left [ \dfrac{\text{SD}(b)}{b}\right ]$

GD (t; a, b) = \frac{1}{t} \frac{e^{- b t} (b t)^{a}}{Γ (a)}; t \geq 0,

$\text{GD}(t; a,b) = \,\dfrac{1}{t}\;\dfrac{e^{-b \, t}(b \, t)^{\,a} }{\Gamma (a)} \;\; \;;\hspace{2em}t\geq 0 \;\; \;\;,\\ %\tabularnewline$

$[0,\infty)$ $[t_1,t_n]$ time-campioni. Per essere chiari, ciò è dovuto al fatto che l'AUC è un integrale mal posto e, altrimenti, ad esempio, usando ML, l'adattamento alla distribuzione gamma non sarebbe robusto. Pertanto, per quella particolare applicazione, la massima probabilità, quindi AIC, è in realtà irrilevante. (Si dice che l'AIC sia usato per la previsione e BIC per la bontà di adattamento. Tuttavia, la predizione e la bontà di adattamento sono entrambe solo relativamente indirettamente correlate a una solida misura di AUC.)

$df$ $\lambda$ $df = p$ $\lambda = 0$ $df = 0$ $\lambda=\infty$ $df$ $df$ $\infty$ $df$

$df_{ridge}= \sum(\lambda_i / (\lambda_i + \lambda$ $\lambda_i$ $X^{\text{T}} X$ $df$

— Carl
fonte