Quando non utilizzare la convalida incrociata?

Mentre leggo il sito, la maggior parte delle risposte suggerisce che la validazione incrociata dovrebbe essere fatta negli algoritmi di machine learning. Tuttavia, mentre stavo leggendo il libro "Capire l'apprendimento automatico", ho visto che esiste un esercizio che a volte è meglio non usare la convalida incrociata. Sono veramente confuso. Quando l'algoritmo di training su tutti i dati è meglio della validazione incrociata? Succede in set di dati reali?

Lasciate be k classi di ipotesi. Supponiamo che si è data m IID formazione esempi e volete imparare la classe H = ∪ k i = 1 H i . Considera due approcci alternativi:$H_1,...,H_k$$m$$H=\cup^k_{i=1}H_i$

1. Impara sugli esempi m usando la regola ERM$H$$m$

2. Dividi gli esempi m in un set di allenamento di dimensioni un set di validazione di dimensioni α m , per alcuni α ∈ ( 0 , 1 ) . Quindi, applicare l'approccio della selezione del modello utilizzando la convalida. Cioè, prima treno ogni classe H i sui ( 1 - α ) m esempi di addestramento utilizzando la regola ERM rispetto a H i , e lasciare che h 1 , ... , h$(1−\alpha)m$$\alpha m$$\alpha\in(0,1)$$H_i$$(1−\alpha)m$$H_i$$\hat{h}_1,\ldots,\hat{h}_k$siano le ipotesi risultanti. In secondo luogo, applicare la regola ERM rispetto alla classe infinita { h 1 , ... , h k } sulle α m esempi di validazione.$\hat{h}_1,\ldots,\hat{h}_k$$\alpha m$

Descrivere gli scenari in cui il primo metodo è migliore del secondo e viceversa.

Immagine della domanda .

Messaggi da portare a casa:

• l'esercizio dovrebbe insegnarti che a volte (a seconda del tuo campo: spesso o quasi sempre) è meglio non eseguire l'ottimizzazione / ottimizzazione / selezione dei modelli basata sui dati.

• Ci sono anche situazioni in cui la validazione incrociata non è la scelta migliore tra le diverse opzioni di validazione , ma queste considerazioni non sono rilevanti nel contesto del tuo esercizio qui.

• E non convalidare (verificare, testare) il tuo modello non è mai una buona scelta.

Sfortunatamente, il testo che citi cambia due cose tra l'approccio 1 e 2:

• L'approccio 2 esegue la validazione incrociata e la selezione / messa a punto / ottimizzazione del modello basata sui dati
• L'approccio 1 non utilizza né la convalida incrociata né la selezione / ottimizzazione / ottimizzazione dei modelli basate sui dati.
• L'approccio 3 convalida incrociata senza selezione / ottimizzazione / ottimizzazione dei modelli basati sui dati è perfettamente fattibile (e l'IMHO porterebbe a maggiori approfondimenti) nel contesto discusso qui
• Approccio 4, nessuna convalida incrociata ma anche selezione / ottimizzazione / ottimizzazione del modello basata sui dati, ma più complessa da costruire.

IMHO, convalida incrociata e ottimizzazione basata sui dati sono due decisioni totalmente diverse (e in gran parte indipendenti) nell'impostazione della strategia di modellazione. L' unica connessione è che è possibile utilizzare le stime di convalida incrociata come target funzionale per l'ottimizzazione. Ma esistono altri funzionali target pronti per essere utilizzati e ci sono altri usi delle stime di convalida incrociata (soprattutto, è possibile utilizzarli per la verifica del modello, ovvero la convalida o il test)

Sfortunatamente, la terminologia dell'apprendimento automatico è attualmente un disordine che suggerisce qui false connessioni / cause / dipendenze.

• Quando si cerca l'approccio 3 (convalida incrociata non per l'ottimizzazione ma per misurare le prestazioni del modello), la convalida incrociata "decisione" rispetto alla formazione sull'intero set di dati è una falsa dicotomia in questo contesto: quando si utilizza la convalida incrociata per misurare le prestazioni del classificatore, la cifra di merito della validazione incrociata viene utilizzata come stima per un modello formato sull'intero set di dati. Vale a dire l'approccio 3 include l'approccio 1.

• $p$parametri / coefficienti del modello, ma ciò che l'ottimizzazione fa è stimare ulteriori parametri, i cosiddetti iperparametri. Se descrivi il processo di adattamento e ottimizzazione / ottimizzazione del modello come una ricerca dei parametri del modello, questa ottimizzazione dell'iperparametro significa che viene considerato uno spazio di ricerca molto più ampio. In altre parole, nell'approccio 1 (e 3) si restringe lo spazio di ricerca specificando tali iperparametri. Il tuo set di dati del mondo reale potrebbe essere abbastanza grande (contenere informazioni sufficienti) per consentire l'adattamento all'interno di quello spazio di ricerca limitato, ma non abbastanza grande da fissare tutti i parametri sufficientemente bene nello spazio di ricerca più ampio degli approcci 2 (e 4).

In effetti, nel mio campo molto spesso ho a che fare con set di dati troppo piccoli per consentire qualsiasi pensiero di ottimizzazione basata sui dati. Quindi cosa devo fare invece: utilizzo la mia conoscenza del dominio sui dati e sui processi di generazione dei dati per decidere quale modello si adatta bene alla natura fisica dei dati e dell'applicazione. E all'interno di questi, devo ancora limitare la complessità del mio modello.