Scelta di K nella validazione incrociata di K-fold

Sto usando il fold convalida incrociata un paio di volte per valutare le prestazioni di alcuni algoritmi di apprendimento, ma sono sempre stato perplesso su come dovrei scegliere il valore di .$K$$K$

Ho spesso visto e usato un valore di , ma questo mi sembra del tutto arbitrario, e ora uso solo per abitudine invece di pensarci su. A me sembra che tu stia ottenendo una granularità migliore mentre migliori il valore di , quindi idealmente dovresti rendere la tua molto grande, ma c'è anche il rischio di essere di parte.10 K $K = 10$$10$$K$$K$

Mi piacerebbe sapere da cosa dovrebbe dipendere il valore di e come dovrei pensarci quando valuto il mio algoritmo. Cambia qualcosa se uso o meno la versione stratificata della convalida incrociata?$K$

La scelta di è alquanto arbitraria. Ecco come decido :$k = 10$$k$

• prima di tutto, al fine di ridurre la varianza del risultato del CV, puoi e dovresti ripetere / iterare il CV con nuove divisioni casuali.
  Ciò rende l'argomento di elevato tempo di calcolo maggiore = => in gran parte irrilevante, poiché si desidera comunque calcolare molti modelli. Tendo a pensare principalmente al numero totale di modelli calcolati (in analogia al bootstrap). Quindi potrei decidere per CV 100 x 10 volte o CV 200 x 5 volte.$k$

• @ogrisel ha già spiegato che solitamente grandi dimensioni significa meno distorsioni (pessimistiche). (Alcune eccezioni sono note in particolare per , vale a dire lasciare un fuori).k = $k$$k = n$

• Se possibile, uso una che è un divisore della dimensione del campione, o la dimensione dei gruppi nel campione che dovrebbero essere stratificati.$k$

• troppo grande significa che è possibile solo un numero basso di combinazioni di campioni, limitando così il numero di iterazioni diverse.$k$

  • Per un abbandono: sono possibili combinazioni di modello / campione differenti. Le iterazioni non hanno alcun senso.$\binom{n}{1} = n = k$
  • Ad esempio e : exist esistono diverse combinazioni di modelli / test. Puoi considerare di esaminare tutte le possibili combinazioni qui come 19 iterazioni di -fold CV o un totale di 190 modelli non sono molto.$n = 20$$k = 10$$\binom{n=20}{2} = 190 = 19 ⋅ k$$k$

• Questi pensieri hanno più peso con campioni di piccole dimensioni. Con più campioni disponibili, non ha molta importanza. Il possibile numero di combinazioni diventa presto abbastanza grande, quindi le 100 dicerie di CV di 10 volte non corrono il rischio di essere duplicate. Inoltre, un numero maggiore di campioni di training generalmente indica una parte più piatta della curva di apprendimento, quindi la differenza tra i modelli surrogati e il modello "reale" addestrato su tutti i campioni diventa trascurabile.$k$$n$

Una K maggiore indica una minore propensione a sopravvalutare il vero errore atteso (poiché le pieghe dell'allenamento saranno più vicine al set di dati totale) ma una varianza più elevata e un tempo di esecuzione più elevato (man mano che ci si avvicina al caso limite: CV "Lascia un singolo").

Se la pendenza della curva di apprendimento è sufficientemente piatta su training_size = 90% del set di dati totale, la distorsione può essere ignorata e K = 10 è ragionevole.

Inoltre, una K più alta fornisce più campioni per stimare un intervallo di confidenza più accurato sulla stima (utilizzando un errore standard parametrico assumendo la normalità della distribuzione degli errori del test CV o un CI bootstrap non parametrico che fa semplicemente l'assunto iid che in realtà non è molto vero poiché le pieghe del CV non sono indipendenti l'una dall'altra).

Modifica: sottostimando => sovrastimando il vero errore previsto

Modifica: la parte di questa risposta su varianze più elevate per K o LOOCV di grandi dimensioni è probabilmente errata (non sempre vera). Maggiori dettagli con simulazioni in questa risposta: parzialità e varianza nella validazione incrociata tra K-fold e one-out (grazie a Xavier Bourret Sicotte per questo lavoro).

Non so come Kinfluenzi l'accuratezza e la generalizzazione, e ciò può dipendere dall'algoritmo di apprendimento, ma influisce sicuramente sulla complessità computazionale quasi linearmente (asintoticamente, linearmente) per gli algoritmi di allenamento con complessità algoritmica lineare nel numero di istanze di allenamento. Il tempo di calcolo per l'allenamento aumenta i K-1tempi se il tempo di allenamento è lineare nel numero di istanze di allenamento. Quindi, per piccoli gruppi di addestramento, prenderei in considerazione gli aspetti di accuratezza e generalizzazione, soprattutto dato che dobbiamo ottenere il massimo da un numero limitato di istanze di addestramento.

Tuttavia, per set di allenamento di grandi dimensioni e algoritmi di apprendimento con elevata crescita della complessità computazionale asintotica nel numero di istanze di allenamento (almeno lineare), seleziono solo in K=2modo che non vi sia alcun aumento del tempo di calcolo per un algoritmo di allenamento con complessità asintotica lineare nel numero delle istanze di addestramento.

Soluzione:

K = N/N*0.30

• N = Dimensione del set di dati
• K = Piega

Commento: possiamo anche scegliere il 20% anziché il 30%, a seconda delle dimensioni che si desidera scegliere come set di test.

Esempio:

Se dimensione set di dati: N = 1500; K = 1500/1500 * 0,30 = 3,33; Possiamo scegliere il valore K come 3 o 4

Nota:

Un valore K elevato nel lasciare una fuori convalida incrociata comporterebbe un eccesso di adattamento. Un valore K piccolo nel lasciare una fuori convalida incrociata comporterebbe un sottoadattamento.

L'approccio potrebbe essere ingenuo, ma sarebbe comunque meglio che scegliere k = 10 per set di dati di dimensioni diverse.