Dimensione VC del vicino k più vicino

Qual è la dimensione VC dell'algoritmo vicino più vicino k se k è uguale al numero di punti di allenamento utilizzati?

Contesto: questa domanda è stata posta in un corso che seguo e la risposta fornita è stata 0. Tuttavia, non capisco perché sia ​​così. La mia intuizione è che la VC-Dimension dovrebbe essere 1, perché dovrebbe essere possibile scegliere due modelli (ovvero set di punti di allenamento) in modo che ogni punto sia etichettato come appartenente a una classe secondo il primo modello e come appartenente a un'altra classe secondo il secondo modello, quindi dovrebbe essere possibile frantumare un singolo punto. Dov'è l'errore nel mio ragionamento?

Dici che l'algoritmo è: k-algoritmo vicino più vicino con k = numero di punti di allenamento utilizzati. Definisco questo come jms-k-più vicino-vicino .

Poiché la dimensione VC è il maggior numero di punti di allenamento che può essere frantumato dall'algoritmo con errore del treno 0, la dimensione VC di jms-k-più vicino-vicino può essere solo k o 0.

1 istanza di allenamento => k = 1: durante l'allenamento, il jms-1-più vicino memorizza esattamente questa istanza. Durante l'applicazione esattamente sullo stesso set di training, una sola istanza è la più vicina all'istanza di training memorizzata (perché sono uguali), quindi l'errore di training è 0.

Quindi sono d'accordo, la dimensione VC è almeno 1.

2 istanze di addestramento => k = 2: potrebbe esserci un problema solo se le etichette differiscono. In questo caso la domanda è: come viene presa la decisione per un'etichetta di classe. Il voto di maggioranza non porta a un risultato (VC = 0?), Se utilizziamo il voto di maggioranza ponderato inversamente per distanza, la dimensione VC è 2 (supponendo che non sia consentito avere la stessa istanza di formazione due volte con etichette diverse, in quanto caso la dimensione VC di tutti gli algoritmi sarebbe 0 (immagino)).

Non esiste un algoritmo k vicino più vicino standard, è più una famiglia con la stessa idea di base ma sapori diversi quando si tratta di dettagli di implementazione.

Risorse utilizzate: diapositive dimensione VC di Andrew Moore