Nella teoria dell'apprendimento statistico, non c'è un problema di overfitting su un set di test?

Consideriamo il problema relativo alla classificazione del set di dati MNIST.

Secondo la pagina MNIST di Yann LeCun , "Ciresan et al." ha ottenuto un tasso di errore dello 0,23% sul set di test MNIST utilizzando la rete neurale convoluzionale.

Indichiamo l'allenamento MNIST impostato come , il test MNIST impostato come D t e s t , l'ipotesi finale che hanno ottenuto usando D t r a i n come h 1 e il loro tasso di errore sul test MNIST impostato usando h 1 come E t e s t ( h 1 ) = 0,0023 .$D_{train}$$D_{test}$$D_{train}$$h_{1}$$h_{1}$$E_{test}(h_{1}) = 0.0023$

Nel loro punto di vista, poiché viene campionato a caso insieme di test dallo spazio di ingresso indipendentemente h 1 , possono insistere che out-of-sample agli errori del loro ipotesi finale E o u t ( h 1 ) è delimitata come seguendo dalla disuguaglianza di Hoeffding P [ | E o u t ( h 1 ) - E t e s t ( h 1 ) | < ϵ ≥ $D_{test}$$h_{1}$$E_{out}(h_{1})$ dove N t e s t = | D t e s t | .

$$P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}}$$
$N_{test}=|D_{test}|$

In altre parole, almeno la probabilità , E o u t ( h 1 ) ≤ E t e s t ( h 1 ) + $1-\delta$

$$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}$$

Consideriamo un altro punto di vista. Supponiamo che una persona voglia classificare bene il test MNIST. Quindi ha prima guardato la pagina MNIST di Yann LeCun e ha trovato i seguenti risultati ottenuti da altre persone usando 8 modelli diversi,

$g$

$g$$D_{test}$$H_{trained}=\{h_1, h_2, .. ,h_8\}$

$E_{test}(g)$

$$P[|E_{out}(g)-E_{in}(g)|<\epsilon] \geq 1 - 2|H_{trained}|e^{2\epsilon^{2}N_{test}}$$

$1-\delta$

$$E_{out}(g) \leq E_{test}(g) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$$

Questo risultato implica che potrebbe esserci un overfitting sul set di test se scegliamo che il modello funziona meglio tra diversi modelli.

$h_{1}$$E_{test}(h_{1}) = 0.0023$$h_{1}$$D_{test}$$h_{1}$ sia un'ipotesi sovradimensionata sul set di test MNIST.

$$E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}$$

Consequently, we got two inequalities

$$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2\over\delta}}\;] \geq 1-\delta$$ and $$P[\;E_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over 2N_{test}}ln{2|H_{trained}|\over\delta}}\;] \geq 1-\delta$$ .

Howerver, it is obvious that these two inequalities are incompatible.

Where am I doing wrong? Which one is right and which one is wrong?

If the latter is wrong, what is the right way to apply the VC bound for finite hypothesis sets in this case?

Among those two inequalities, I think the later is wrong. In brief, what's wrong here is the identity $g=h_1$ given that $g$ is a function of the test data while $h_1$ is a model that is independent of test data.

In fact, $g$ is one of the 8 models in $H_{trained} = \{ h_1, h_2,..., h_8 \}$ that best predicts test set $D_{test}$.

Therefore, $g$ is a function of $D_{test}$. For a specific test set, $D^*_{test}$ (like the one you mentioned), it could happens that $g(D^*_{test}) = h_1$, but in general, depending on the test set, $g(D_{test})$ could take any value in $H_{trained}$. On the other hand $h_1$ is just one value in $H_{trained}$.

For the other question:

If the latter is wrong, what is the right way to apply the VC bound for finite hypothesis sets in this case?

Just don't replace $g$ by $h_1$, you will get the correct bound (for $g$, of course) and it will have no conflict with the other bound (which is for $h_1$).