Non si traduce in un eccesso di adattamento? I miei risultati sarebbero più affidabili se aggiungessi una procedura jack-knife o bootstrap come parte dell'analisi?
Non si traduce in un eccesso di adattamento? I miei risultati sarebbero più affidabili se aggiungessi una procedura jack-knife o bootstrap come parte dell'analisi?
Risposte:
Penso che costruire un modello e testarlo siano cose diverse. L'eliminazione all'indietro fa parte della costruzione del modello. Jack coltello e bootstrap sono più utilizzati per testarlo.
Puoi sicuramente avere stime più affidabili con bootstrap e jack knife rispetto alla semplice eliminazione all'indietro. Ma se vuoi davvero testare un overfitting, il test finale è un campione diviso, allenati su alcuni, test su altri. Leave-one-out è troppo instabile / inaffidabile per questo scopo: http://www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html
Penso che almeno il 10% dei soggetti debba essere fuori per ottenere stime più stabili della solidità del modello. E se hai 20 soggetti, 2 sono ancora pochissimi. Ma poi la domanda diventa se si dispone di un campione abbastanza grande per costruire un modello che può essere applicato al resto della popolazione.
Spero che abbia risposto alla tua domanda almeno in parte.