Come scegliere la formazione, la convalida incrociata e le dimensioni dei set di test per dati di piccole dimensioni di campioni?

Supponiamo che io abbia una piccola dimensione del campione, ad esempio N = 100, e due classi. Come dovrei scegliere la formazione, la validazione incrociata e le dimensioni dei set di test per l'apprendimento automatico?

Vorrei scegliere intuitivamente

• La formazione imposta la dimensione come 50
• Convalida incrociata impostare la dimensione 25 e
• Dimensione del test come 25.

Ma probabilmente questo ha più o meno senso. Come dovrei davvero decidere questi valori? Posso provare diverse opzioni (anche se immagino che non sia così preferibile ... maggiore possibilità di apprendimento eccessivo)?

E se avessi più di due lezioni?

• Hai sicuramente trovato la domanda molto simile: scelta di K nella validazione incrociata di K-fold ?
  (Incluso il link al lavoro di Ron Kohavi)

• 
  
  $k$ raccomandato in generale.

• È interessante notare che, con questi problemi di classificazione delle dimensioni di un campione molto piccolo, la convalida è spesso più difficile (in termini di esigenze di dimensioni del campione) rispetto alla formazione di un modello decente. Se hai bisogno di documentazione su questo, vedi ad esempio il nostro documento sulla pianificazione delle dimensioni dei campioni:
  Beleites, C. e Neugebauer, U. e Bocklitz, T. e Krafft, C. e Popp, J .: Pianificazione delle dimensioni dei campioni per i modelli di classificazione. Anal Chim Acta, 2013, 760, 25-33.
  DOI: 10.1016 / j.aca.2012.11.007
  manoscritto accettato su arXiv: 1211.1323

• Un altro punto importante è fare buon uso della possibilità di ripetere / ripetere la validazione incrociata (che è una delle ragioni contro LOO): questo ti permette di misurare la stabilità delle previsioni contro le perturbazioni (cioè alcuni casi diversi) dell'allenamento dati.

  Letteratura:

  • Beleites, C. & Salzer, R .: Valutazione e miglioramento della stabilità dei modelli chemiometrici in situazioni di piccole dimensioni del campione Anal Bioanal Chem, 2008, 390, 1261-1271.
    DOI: 10.1007 / s00216-007-1818-6
  • Dixon, SJ; Heinrich, N .; Holmboe, M .; Schaefer, ML; Reed, RR; Trevejo, J. & Brereton, RG: Applicazione di metodi di classificazione quando le dimensioni dei gruppi sono disuguali per incorporazione di probabilità precedenti a tre approcci comuni: Applicazione a simulazioni e chemosignali urinarie di topo, Chemom Intell Lab Syst, 2009, 99, 111-120.
    DOI: 10.1016 / j.chemolab.2009.07.016

• Se si decide per una singola esecuzione su un set di test di blocco (senza iterazioni / ripetizioni),

  • tieni presente che la maggior parte degli errori che puoi fare con la validazione incrociata (che porterà a una distorsione ottimistica) può anche verificarsi con un set di test di controllo.
  • verificare l'ampiezza dell'intervallo di confidenza risultante per la misurazione delle prestazioni e assicurarsi che ciò consenta un'interpretazione significativa dei risultati (vedere la carta di pianificazione delle dimensioni del campione).

Dato che la dimensione del campione è piccola, una buona pratica sarebbe quella di tralasciare la sezione di convalida incrociata e utilizzare un rapporto 60 - 40 o 70 - 30.

Come si può vedere nella sezione 2.8 di Introduzione alla clementina e al data mining e anche nella libreria MSDN - Data mining - Set di training e test è comune un rapporto 70-30. Secondo le lezioni di Machine Learning di Andrew Ng, si raccomanda un rapporto 60 - 20 - 20.

Spero di essere stato utile. I migliori saluti.