In realtà va bene eseguire la selezione delle funzioni senza supervisione prima della convalida incrociata?

In The Elements of Statistical Learning , ho trovato la seguente dichiarazione:

Esiste una qualifica: le fasi iniziali di screening senza supervisione possono essere eseguite prima che i campioni vengano esclusi. Ad esempio, potremmo selezionare i 1000 predittori con la varianza più elevata tra tutti i 50 campioni, prima di iniziare la convalida incrociata. Poiché questo filtro non coinvolge le etichette di classe, non offre un vantaggio ingiusto ai predittori.

Questo è effettivamente valido? Voglio dire, filtrando preventivamente gli attributi, non stiamo imitando i dati di addestramento / nuovo ambiente di dati - quindi è importante che il filtro che stiamo eseguendo non sia supervisionato? Non è meglio eseguire effettivamente tutte le fasi di preelaborazione all'interno del processo di convalida incrociata? In caso contrario, significa che è possibile eseguire preventivamente tutte le preelaborazioni senza supervisione, inclusa la normalizzazione delle funzioni / PCA, ecc. Ma eseguendo queste operazioni sull'intero set di training, stiamo effettivamente perdendo alcuni dati sul set di training. Posso essere d'accordo sul fatto che con un set di dati relativamente stabile, queste differenze molto probabilmente dovrebbero essere minuscole - ma ciò non significa che non esistano, giusto? Qual è il modo corretto di pensare a questo?

Come fase precedente alla convalida incrociata, la selezione delle funzioni senza supervisione è in qualche modo simile alla normalizzazione delle funzioni:

1. Dal punto di vista di una piega specifica nella convalida incrociata, i dati del treno hanno dato una sbirciatina ai dati di prova (anche se solo nelle variabili indipendenti).

2. Questa sbirciata è relativamente mite.

In questa domanda è stata discussa la normalizzazione delle funzionalità prima della validazione incrociata . Citando la risposta lì di Dikran Marsupial

La convalida incrociata è meglio considerata come un metodo per stimare le prestazioni di una procedura statistica, piuttosto che un modello statistico. Pertanto, al fine di ottenere una stima delle prestazioni imparziale, è necessario ripetere ogni elemento di tale procedura separatamente in ogni piega della convalida incrociata, che includerebbe la normalizzazione.

Pertanto, se è possibile risparmiare risorse, la cosa migliore sarebbe che ogni piega di convalida incrociata esegua da zero qualsiasi elaborazione dipendente dai dati.

$y$

Mi permetto di differire in questa domanda con l'opinione di @ AmiTavory e con gli Elementi di apprendimento statistico.

Proveniente da un campo applicato con campioni di dimensioni molto basse, ho l'esperienza che anche fasi di pre-elaborazione senza supervisione possono introdurre gravi distorsioni.

Nel mio campo sarebbe più frequentemente un PCA per la riduzione della dimensionalità prima che un classificatore venga addestrato. Anche se non posso mostrare qui i dati, ho visto PCA + (cross validated LDA) vs. cross validated (PCA + LDA) sottovalutare il tasso di errore di circa un ordine di grandezza . (Questo di solito indica che il PCA non è stabile.)

Per quanto riguarda l'argomentazione degli "indebiti vantaggi" degli Elementi, se si esamina la varianza dei casi di guadagno + test, si finisce con caratteristiche che funzionano bene con i casi di training e test. Pertanto, qui creiamo una profezia che si autoavvera, che è la causa del pregiudizio eccessivamente ottimistico. Questo bias è basso se si hanno dimensioni del campione ragionevolmente comode.

Quindi raccomando un approccio leggermente più conservativo rispetto agli Elements:

• i calcoli di preelaborazione che considerano più di un caso devono essere inclusi nella validazione: cioè sono calcolati solo sul rispettivo set di addestramento (e quindi applicati ai dati del test)
• le fasi di preelaborazione che considerano ogni caso singolarmente (sono spettroscopista: esempi sarebbero la correzione della linea di base e la normalizzazione dell'intensità, che è una normalizzazione a livello di riga) possono essere estratte dalla convalida incrociata finché sono prima del primo passo che calcola per più casi.

Detto questo, anche la valutazione incrociata è solo una scorciatoia per fare uno studio di validazione adeguato. Pertanto, puoi discutere con praticità:

• È possibile verificare se la preelaborazione in questione produce risultati stabili (è possibile farlo ad es. Mediante validazione incrociata). Se lo trovi perfettamente stabile già con campioni di dimensioni inferiori, IMHO potresti obiettare che non verrà introdotta molta distorsione estraendolo dalla validazione incrociata.

• Tuttavia, per citare un supervisore precedente: il tempo di calcolo non è un argomento scientifico.
  Vado spesso per una "anteprima" di poche pieghe e poche iterazioni per la convalida incrociata per assicurarmi che tutto il codice (incluso il riepilogo / grafici dei risultati) e poi lo lasci per tutta la notte o durante il fine settimana sul server per un convalida incrociata più dettagliata.