Dimensione VC dei modelli di regressione


12

Nella serie di lezioni Learning from Data , il professore menziona che la dimensione VC misura la complessità del modello su quanti punti un modello può frantumare. Quindi questo funziona perfettamente per i modelli di classificazione in cui potremmo dire di N punti se il classificatore è in grado di frantumare i punti k in modo efficace la misura della dimensione VC sarebbe K. Ma non mi era chiaro come si misura la dimensione VC per i modelli di regressione ?


Risposte:


3

Da Elements of Statistical Learning , p. 238:

Finora abbiamo discusso solo della dimensione VC delle funzioni degli indicatori, ma ciò può essere esteso a funzioni con valori reali. La dimensione VC di una classe di funzioni a valore reale è definita come la dimensione VC della classe indicatore , dove assume valori nell'intervallo di g.g(x,α)1(g(x,α)β>0)β

Oppure, (leggermente) in modo più intuitivo, per trovare la dimensione VC di una classe di funzioni a valore reale, è possibile trovare la dimensione VC della classe di funzioni indicatore che può essere formata limitando quella classe di funzioni a valore reale.


Ma questo dà la dimensione VC per gli indicatori di soglia, e al valore nominale non vedo come ottenere limiti PAC per gli indicatori di soglia ti dica molto sulle prestazioni della tua funzione di regressione. Forse potresti trovare un argomento in cui cercare binariamente il valore regredito (per domini di output limitati).
VF1

@ VF1 True. Come interpretare la dimensione VC di una funzione di regressione potrebbe essere una buona domanda separata.
Sean Easter

Pubblicherei una domanda separata, ma credo che la risposta sia semplicemente "non usare VC dim per regressione", dal momento che Rademacher ti lascerebbe fare altrettanto per le perdite arbitrarie limitate.
VF1

@ VF1 Leggerei una risposta che lo diceva con interesse! Tutto ciò che intendo è suggerire che la norma CV è di limitare le domande a una singola domanda per posta e che il PO non ha toccato l'interpretazione o lo scopo.
Sean Easter

0

Vedere la sezione 5.2 dell'apprendimento statistico (Vapnik) per una derivazione del trucco dell'indicatore di soglia usando le misure di Lebesgue-Stieltjes. AFAIK questo è l'unico riferimento definitivo. Dovresti già sapere dove trovare il libro (e altri di Vapnik, sono tutti superlativi).


1
Sarebbe utile se potessi riassumere l'argomento piuttosto che fornire un riferimento.
mdewey,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.