Buona letteratura sulla convalida incrociata

Risposte:

5

Se la convalida incrociata deve essere utilizzata per la selezione del modello / funzione, vale la pena ricordare che è possibile sovrastimare la statistica di convalida incrociata e finire con un modello che funziona male e la statistica di convalida incrociata ottimizzata può essere una stima delle prestazioni fortemente ottimistica. Gli effetti di questo possono essere sorprendentemente grandi. Vedere Ambroise e McLachlan per un esempio di ciò in un'impostazione di selezione delle caratteristiche e Cawley e Talbot per un esempio in un'impostazione di selezione del modello.

— Dikran Marsupial
fonte
È bene menzionarlo, ma va detto due volte che si tratta di esempi di uso improprio o eccessivo di CV, non di alcuni svantaggi del metodo stesso.
1
in effetti, tuttavia, è un modo in cui è abbastanza comunemente usato - quindi è importante essere consapevoli quando si impara sulla validazione incrociata! Una maggiore convalida incrociata è spesso una buona soluzione, vale a dire una convalida incrociata nidificata o, come dice Stone, la convalida "doppia croce". Il problema riguarda praticamente qualsiasi criterio di selezione di funzionalità o modello ottimizzato per ottenere un modello; non c'è nulla di speciale nella convalida incrociata in questo senso.
— Dikran Marsupial,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.