Limite inferiore del campionamento agnostico PAC

È noto che per l'apprendimento PAC classico, sono necessari esempi per ottenere un limite di errore di whp, dove è la dimensione VC della classe del concetto. $\Omega(d/\varepsilon)$ $\varepsilon$ $d$

È noto che nel caso agnostico sono necessari esempi ? $\Omega(d/\varepsilon^2)$

lg.learning machine-learning

— Aryeh
fonte

Non sono sicuro di come sia il limite inferiore, si dovrebbe esistere se il limite di Hoefding è stretto (e penso che sia). Questo limite afferma che per 1 fn, se la probabilità di errore è p, allora è necessario al massimo

campioni per stimare p all'interno dell'errore + -

whp Quindi prendere in considerazione qualsiasi classe di concetti con 2 concetti,

e dimensione VC 2. Prendi una distribuzione sugli esempi in modo che

(o viceversa) - questo è possibile perché la dimensione VC è 2. Sembra che un algoritmo utilizzi solo

m = O (1 / ϵ^{2})

$m = O(1/\epsilon^2)$

ϵ

$\epsilon$

f_{1}

$f_1$

f_{2}

$f_2$

p_{1} = p_{2} + ϵ

$p_1 = p_2 + \epsilon$

esempi implicherebbero un limite Hoefding migliorato.

O (1 / ϵ)

$O(1/\epsilon)$

— Aaron Roth,

Vale a dire, penso che il Hoeffding legato è stretto a

per

. Penso che il ragionamento sopra sia generalmente noto ...

p = 1 / 2

$p=1/2$

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

— Lev Reyzin

OK - sembra che mi sia dato un altro esercizio per il corso ML ... :) Grazie per il contributo, Aaron e Lev!

— Aryeh,

@Aaron, forse questa avrebbe dovuto essere una risposta.

— Suresh Venkat,

Ora mi rendo conto che un limite inferiore è stato effettivamente stabilito da Anthony e Bartlett (vedere la presentazione qui ).

Modifica 24-set-2018. Questa domanda mi ha tenuto occupato in tutti questi anni e recentemente I. Pinelis e io abbiamo ottenuto l'esatta costante ottimale nel PAC inferiore agnostico destinato ad apparire in Ann. Stat .

— Aryeh
fonte

Nel tuo articolo non citi questo lavoro ( jmlr.org/papers/volume17/15-389/15-389.pdf ). La complessità ottimale del campione supera il caso realizzabile senza alcuna connessione con il tuo lavoro? Questi corrispondenti limiti ottimali di complessità del campione sono noti per il caso agnostico?

— gradstudent

Non penso che il caso realizzabile sia tutto ciò correlato. Nel caso realizzabile, ERM non garantisce tariffe ottimali - quindi tutto il duro lavoro che Hanneke e altri hanno dovuto spendere per rimuovere il fattore log, e non è ancora noto se un discente in grado di raggiungere la velocità ottimale. Al contrario, nel caso agnostico, è noto da tempo che ERM raggiunge la velocità ottimale.

— Aryeh,