Giustificazione empirica dell'unica regola di errore standard quando si utilizza la convalida incrociata

Esistono studi empirici che giustificano l'uso dell'unica regola di errore standard a favore della parsimonia? Ovviamente dipende dal processo di generazione dei dati, ma tutto ciò che analizza un ampio corpus di set di dati sarebbe una lettura molto interessante.

La "regola dell'errore standard" viene applicata quando si selezionano i modelli mediante convalida incrociata (o più in generale mediante qualsiasi procedura basata sulla randomizzazione).

Supponiamo di considerare i modelli indicizzati da un parametro di complessità τ ∈ R , in modo tale che M τ sia "più complesso" di M τ ′ esattamente quando τ > τ ′ . Supponiamo inoltre che valutiamo la qualità di un modello M mediante un processo di randomizzazione, ad esempio la convalida incrociata. Lasciate che q ( M ) denoti la qualità "media" di M , ad es. L'errore di previsione out-of-bag medio in molte serie di convalide incrociate. Desideriamo ridurre al minimo questa quantità.$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

Tuttavia, poiché la nostra misura di qualità deriva da una procedura di randomizzazione, viene fornita con la variabilità. Let indicano l'errore standard della qualità della M attraverso le piste di randomizzazione, ad esempio, la deviazione standard dell'errore di predizione out-of-bag di M su piste di cross-validazione.$s(M)$$M$$M$

Quindi scegliamo il modello , dove τ è il più piccolo τ tale che$M_\tau$$\tau$$\tau$

dove indicizza il modello (in media) migliore, q ( M τ ′ ) = min τ q ( M τ ) .$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

Cioè, scegliamo il modello più semplice (il più piccolo ) che non è più di un errore standard peggiore del miglior modello M τ ′ nella procedura di randomizzazione.$\tau$$M_{\tau'}$

Ho trovato questa "una regola di errore standard" a cui si fa riferimento nei seguenti luoghi, ma mai con alcuna giustificazione esplicita:

• Pagina 80 in Alberi di classificazione e regressione di Breiman, Friedman, Stone & Olshen (1984)
• Pagina 415 in Stima del numero di cluster in un set di dati tramite la statistica gap di Tibshirani, Walther & Hastie ( JRSS B , 2001) (riferendosi a Breiman et al.)
• Pagine 61 e 244 pollici Elementi di apprendimento statistico di Hastie, Tibshirani & Friedman (2009)
• Pagina 13 in Statistical Learning with Sparsity di Hastie, Tibshirani & Wainwright (2015)

Quello che segue non è uno studio empirico , motivo per cui inizialmente volevo pubblicarlo come un commento, non come una risposta - ma in realtà risulta essere troppo lungo per un commento.

Cawley & Talbot ( J of Machine Learning Research , 2010) attirano l'attenzione sulla differenza tra il sovradimensionamento durante la fase di selezione del modello e il sovradimensionamento durante la fase di adattamento del modello.

Il secondo tipo di overfitting è quello a cui la maggior parte delle persone ha familiarità: dato un modello particolare, non vogliamo usarlo eccessivamente, cioè adattarlo troppo da vicino alle particolari idiosincrasie del singolo set di dati che di solito abbiamo. ( È qui che il restringimento / la regolarizzazione può aiutare, scambiando un piccolo aumento di bias contro una grande diminuzione della varianza. )

Tuttavia, Cawley e Talbot sostengono che possiamo adattarci allo stesso modo anche durante la fase di selezione del modello. Dopotutto, in genere abbiamo ancora un solo set di dati e stiamo decidendo tra diversi modelli di varia complessità. La valutazione di ciascun modello candidato al fine di selezionarne uno di solito comporta l' adattamento di quel modello, che può essere fatto utilizzando la regolarizzazione o meno. Ma questa valutazione in sé è di nuovo una variabile casuale, perché dipende dal set di dati specifico che abbiamo. Quindi la nostra scelta di un modello "ottimale" può di per sé mostrare una propensione e mostrerà una varianza, in quanto dipende dal set di dati specifici da tutti i set di dati che avremmo potuto attingere dalla popolazione.

Cawley & Talbot sostengono quindi che la semplice scelta del modello che si comporta meglio in questa valutazione potrebbe essere una regola di selezione con un piccolo pregiudizio, ma può presentare una grande varianza. Cioè, dati diversi set di dati di training dallo stesso processo di generazione dei dati (DGP), questa regola può selezionare modelli molto diversi, che verrebbero quindi adattati e utilizzati per prevedere in nuovi set di dati che seguono di nuovo lo stesso DGP. Alla luce di ciò, limitare la varianza della procedura di selezione del modello ma incorrere in una leggera propensione verso modelli più semplici può produrre piccoli errori fuori campione.

Cawley e Talbot non lo collegano esplicitamente all'unica regola di errore standard e la loro sezione sulla "regolarizzazione della selezione del modello" è molto breve. Tuttavia, l'unica regola di errore standard eseguirà esattamente questa regolarizzazione e prenderebbe in considerazione la relazione tra la varianza nella selezione del modello e la varianza dell'errore di convalida incrociata out-of-bag.

Ad esempio, di seguito è riportata la Figura 2.3 di Statistical Learning with Sparsity di Hastie, Tibshirani & Wainwright (2015) . La varianza nella selezione del modello è data dalla convessità della linea nera al minimo. Qui, il minimo non è molto pronunciato e la linea è piuttosto leggermente convessa, quindi la selezione del modello è probabilmente piuttosto incerta con una varianza elevata. E la varianza della stima dell'errore CV OOB è ovviamente data dalle molteplici linee blu che indicano errori standard.

Per una giustificazione empirica, dai un'occhiata a pagina 12 su queste note sul corso di data mining di Tibshirani , che mostrano l'errore CV in funzione di lambda per un particolare problema di modellazione. Il suggerimento sembra essere che, al di sotto di un certo valore, tutte le lambda diano circa lo stesso errore CV. Ciò ha senso perché, a differenza della regressione della cresta, LASSO non viene in genere utilizzato solo, o anche principalmente, per migliorare l'accuratezza della previsione. Il suo principale punto di forza è che rende i modelli più semplici e interpretabili eliminando i predittori meno rilevanti / preziosi.

$\lambda$$L_1$

Il numero di variabili selezionate dallo stimatore Lazo è deciso da un valore di penalità $\lambda$. Il più grande è$\lambda$, più piccolo è l'insieme delle variabili selezionate. Permettere $\hat S(\lambda)$ essere l'insieme delle variabili selezionate usando come penalità $\lambda$.

Permettere $\lambda^ \star$essere la penalità selezionata utilizzando il minimo della funzione di convalida incrociata. Lo si può dimostrare$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$. Dove$S_0$ è l'insieme delle variabili che non sono realmente 0. (L'insieme della variabile vera è contenuto rigorosamente nell'insieme stimato usando come penalità il minimo della convalida incrociata.)

Questo dovrebbe essere riportato in Statistica per dati ad alta dimensione da Bühlmann e van de Geer.

Il valore della penalità $\lambda$è spesso scelto attraverso la validazione incrociata; questo significa che con alta probabilità vengono selezionate troppe variabili. Per ridurre il numero di variabili selezionate, la penalità viene aumentata leggermente utilizzando la regola dell'errore standard.