Comprensione del teorema del pranzo libero nella Classificazione dei modelli di Duda et al

Ho alcune domande sulle notazioni utilizzate nella Sezione 9.2 Mancanza di superiorità intrinseca di qualsiasi classificatore nella classificazione dei modelli di Duda, Hart e Stork . Prima di tutto lasciatemi citare alcuni testi pertinenti del libro:

Per semplicità si consideri un problema di due categorie, in cui l'insieme di addestramento costituito da schemi e relative etichette di categoria per generato dalla funzione target sconosciuta da apprendere, , dove . $D$ $x^i$ $y_i = ± 1$ $i = 1,..., n$ $F(x)$ $y_i = F(x^i)$

Sia denotare l'insieme (discreto) di ipotesi o possibili insiemi di parametri da apprendere. Una particolare ipotesi potrebbe essere descritta da pesi quantizzati in una rete neurale, o da parametri 0 in un modello funzionale o da insiemi di decisioni in un albero, e così via. $H$ $h(x) \in H$

Inoltre, è la probabilità precedente che l'algoritmo produca ipotesi dopo l'allenamento; si noti che questa non è la probabilità che sia corretta. $P(h)$ $h$ $h$

Avanti, indica la probabilità che l'algoritmo produrrà ipotesi quando allenato sui dati . Negli algoritmi di apprendimento deterministico come il vicino più vicino e gli alberi decisionali, sarà ovunque zero tranne che per una singola ipotesi . Per i metodi stocastici (come le reti neurali allenate da pesi iniziali casuali) o l'apprendimento stocastico di Boltzmann, può essere un'ampia distribuzione. $P(h|D)$ $h$ $D$ $P(h|D)$ $h$ $P(h|D)$

Sia l'errore per una funzione zero-one o altra perdita. $E$

L'errore di classificazione atteso fuori quando la vera funzione è e la probabilità per l' algoritmo di apprendimento candidato è è data da $F(x)$ $k$ $P_k(h(x)|D)$
$E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$
Teorema 9.1. (Nessun pranzo libero) Per due algoritmi di apprendimento e , vale quanto segue, indipendentemente dalla distribuzione di campionamento e dal numero di punti di addestramento: $P_1 (h |D)$ $P_2(h|D)$ $P(x)$ $n$

Media uniforme di tutte le funzioni target , $F$ $\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n) = 0$

Per qualsiasi set di allenamento fisso , mediamente uniforme su , $D$ $F$ $\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D) = 0$

La parte 1 in realtà dice
$\sum_{F} \sum_{D} P (D | F) [E_{1} (E | F, n) — E_{2} (E | F, n)] = 0$ $\sum_F \sum_D P(D|F) [\mathcal{E}_1 (E|F, n) — \mathcal{E}_2(E|F, n)] = 0$
La parte 2 in realtà dice
$\sum_{F} [E_{1} (E | F, D) — E_{2} (E | F, D)] = 0$ $\sum_F [\mathcal{E}_1 (E|F, D) — \mathcal{E}_2(E|F, D)] = 0$

Le mie domande sono

Nella formula di , ovvero posso sostituire con e spostarlo fuori dalla somma , perché è davvero una distribuzione di su dato per l' algoritmo di apprendimento stocastico ? $\mathcal{E}_k(E|F,n)$ $E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D),$ $\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D),$ $P_k(h(x)|D)$ $P_k(h|D)$ $\sum_{x \notin D}$ $h$ $H$ $D$ $k$
Dato che l' algoritmo di apprendimento candidato è un metodo stocastico, perché nella formula di , non c'è somma su , cioè ? $k$ $\mathcal{E}_k(E|F,n)$ $h$ $\sum_{h \in H}$
In che modo e diversi l'uno dall'altro? $\mathcal{E}_i (E|F, D)$ $\mathcal{E}_i (E|F, n)$

Fa : il tasso di errore off-formazione dato un training set ? $\mathcal{E}_i (E|F, D)$ $D$

Ha significa che il tasso di errore off-formazione, media su tutta la formazione insieme dato una dimensione di formazione ? In caso affermativo, perché la parte 1 del teorema della NFL media sull'allenamento riprende scrivendo e perché nella formula per , non esiste una media su tutti i set di allenamento con una dimensione di allenamento ? $\mathcal{E}_i (E|F, n)$ $n$ $\mathcal{E}_i (E|F, n)$ $\sum_D$ $\mathcal{E}_k(E|F,n)$ $n$
Nella parte 1 del teorema della NFL, significa sommare tutti i set di allenamento con una dimensione di allenamento fissa ? $\sum_D$ $n$
Se si sommano ulteriormente tutti i possibili valori in della dimensione di allenamento nella parte 1, il risultato è ancora 0, giusto? $\mathbb{N}$ $n$
Nella formula di , se cambio in , ovvero non è necessariamente limitato al di fuori del set di addestramento, entrambe le parti in Il teorema della NFL è ancora vero? $\mathcal{E}_k(E|F,n)$ $\sum_{x \notin D}$ $\sum_x$ $x$
Se il vero rapporto tra ed non vengono considerati una funzione deterministica come , ma invece distribuzioni condizionale una distribuzione congiunta o che è equivalente a conoscendo e (vedi anche la mia altra domanda ), allora posso cambiare per essere (con lo strano indicato nelle parti 1 e 2). Le due parti nel teorema della NFL sono ancora vere? $x$ $y$ $F$ $y=F(x)$ $P(y|x)$ $P(x,y)$ $P(y|x)$ $P(x)$ $\mathcal{E}_k (E|F,n)$ $E_{k} (E | P (x, y), n) = E_{x, y} [1 - δ (y, h (x))] P_{k} (h (x) | D)$ $\mathcal{E}_k(E|P(x,y),n) = \mathcal{E}_{x,y} [1-\delta(y, h(x))] P_k(h(x)|D)$ $P_k(h(x)|D)$

Grazie e saluti!

machine-learning

— Tim
fonte

È del Kronecker-delta di Dirac /? In

δ

$\delta$

E_{k} (E | F, n) = \sum_{x \notin D} P (x) [1 - δ (F (x), h (x))] P_{k} (h (x) | D)

$\mathcal{E}_k(E|F,n) = \sum_{x\notin D} P(x) [1-\delta(F(x), h(x))] P_k(h(x)|D)$

Questo teorema di No Free Lunch è lo stesso del problema di Halting? Sono collegati?

Risponderò alle domande a cui penso di conoscere le risposte.

Questa risposta è no perché stai scegliendo una che non faceva parte del set di adattamento e quindi dipende da . $x$ $D$ $h$ $x$
$h$ viene valutato solo ai valori nel set di test per ottenere il tasso di errore previsto, quindi non viene valutato sull'intero set ma solo sul set discreto di 's nel set di test. $x$ $H$ $x$
$\mathcal{E}_i(E|F, D)$ è l'atteso fuori training set tasso di errore data la funzione ed il training set . Ma Penso che sia diverso perché stai solo condizionando il numero di punti di allenamento e non i valori effettivi . Ma questo è sconcertante date le dichiarazioni successive. $F$ $D$ $\mathcal{E}_i(E|F, n)$ $n$ $x$
$D$ è l'insieme dei vettori di addestramento. Ci sono vettori di addestramento in . Così si stanno sommando nel corso degli fisse vettori di addestramento in . C'è solo un set . $n$ $D$ $n$ $D$ $D$
Penso che la risposta a 5 sia no. La notazione sembra essere un po 'confusa.

Non posso commentare 6 e 7.

— Michael R. Chernick
fonte

+1. Benvenuto nel sito, sono un grande fan delle tue recensioni su Amazon. Scusa la mia presunzione nel montaggio, la notazione matematica viene fatta principalmente mettendo $ 's su entrambi i lati di qualcosa. Se fai clic sul cerchio giallo-? in alto a destra durante la scrittura, vedrai un link per "aiuto avanzato" che fornirà maggiori informazioni; inoltre, puoi fare clic con il tasto destro del mouse su alcuni mathjax esistenti (come uno dei precedenti) e selezionare "Mostra Math As -> comandi TeX" per vedere come è stato fatto.

— gung - Ripristina Monica

In altre parole, @gung sta dicendo: Questo sito supporta (quasi) esattamente nel modo in cui ti aspetteresti, incluso il display matematico. Benvenuti nel sito.

L A T E X

$\LaTeX$

— cardinale

@Michael Per favore, permettimi di aggiungere il mio benvenuto a questi altri: sono felice di vederti qui. (Michael ha dato contributi eccezionalmente ben informati sulle liste di discussione dell'American Statistical Association.)

— whuber