Intervallo di previsione basato sulla convalida incrociata (CV)

Nei libri di testo e nelle lezioni su YouTube ho imparato molto sui modelli iterativi come il potenziamento, ma non ho mai visto nulla sulla derivazione di un intervallo di predizione.

La convalida incrociata viene utilizzata per quanto segue:

Selezione del modello : prova diversi modelli e scegli quello più adatto. In caso di potenziamento, utilizzare CV per selezionare i parametri di ottimizzazione.
Valutazione del modello : stimare le prestazioni del modello selezionato

Numerosi parametri sono importanti per la valutazione del modello, uno di questi è l'errore di previsione previsto. La convalida incrociata fornisce una buona stima dell'errore di previsione, così come descritto nel libro "Gli elementi dell'apprendimento statistico".

Ma come possiamo usare l'errore di previsione previsto per costruire un intervallo di previsione?

E se si prevede ad esempio il prezzo di una casa, l'intervallo di previsione sarà più alto per una casa di 500.000 € rispetto a una casa di 200.000 €. Come possiamo stimare questi intervalli di previsione usando la validazione incrociata?

cross-validation boosting prediction-interval

— Kasper
fonte

Questo è un passo nella buona direzione: blog.datadive.net/prediction-intervals-for-random-forests

— Kasper

Penso che ciò che stai cercando siano previsioni conformi. Vedi l'articolo di Shafer e Vovk jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf .

— Alexey Zaytsev,

Potresti spiegare perché credi che l'intervallo di previsione sarebbe "più alto" per una casa di 500k rispetto a una casa di 200k? È una funzione del numero di campioni? Potete presumere che i campioni vengano estratti dalla distribuzione totale?

— justanotherbrain,

Dopo aver letto di nuovo questa domanda, posso darti il seguente limite:

$B$ $1 - \delta$

E [E (h)] \leq \hat{E} (h) + B \sqrt{\frac{\log \frac{1}{δ}}{2 m}}

$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$

$m$ $1-\delta$

$m$ $\mathbb{E}[\mathcal{E}(h)]$ $\hat{\mathcal{E}}(h)$

Si prega di non segnalare solo l'errore di convalida incrociata né l'errore di test, quelli non hanno senso in generale poiché sono solo stime puntuali.

Vecchio post per la cronaca:

Non sono sicuro di aver compreso completamente la tua domanda, ma mi prenderò una mano.

Innanzitutto, non sono sicuro di come definire un intervallo di previsione per la selezione del modello, poiché, a quanto ho capito, gli intervalli di previsione fanno alcune ipotesi distributive. Invece, potresti ricavare disuguaglianze di concentrazione, che essenzialmente legano una variabile casuale alla sua varianza per una certa probabilità. Le disuguaglianze di concentrazione vengono utilizzate durante l'apprendimento automatico, inclusa la teoria avanzata per il potenziamento. In questo caso si desidera limitare l'errore di generalizzazione (errore in generale, punti che non si sono visti) al proprio errore empirico (errore sul set di test) più un termine di complessità e un termine relativo alla varianza.

Ora devo dissipare un malinteso sulla convalida incrociata che è estremamente comune. La convalida incrociata ti fornirà solo una stima imparziale dell'errore atteso di un modello PER UNA DIMENSIONE DEL CAMPIONE FISSO. La prova di ciò funziona solo con il protocollo di uscita one out. Questo è in realtà abbastanza debole, poiché non fornisce informazioni sulla varianza. D'altra parte, la convalida incrociata restituirà un modello vicino alla soluzione di minimizzazione del rischio strutturale, che è la soluzione teoricamente migliore. Puoi trovare la prova nell'appendice qui: http://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

Quindi, come derivare un limite di generalizzazione? (Ricorda che un limite di generalizzazione è sostanzialmente un intervallo di previsione sull'errore di generalizzazione per un modello specifico). Bene, questi limiti sono specifici dell'algoritmo. Sfortunatamente esiste un solo libro di testo che pone limiti a tutti gli algoritmi comunemente usati nell'apprendimento automatico (incluso il potenziamento). Il libro è Foundations of Machine Learning (2012) di Mohri, Rostamizadeh e Talwalkar. Per le diapositive delle lezioni che trattano il materiale, puoi trovarle sulla pagina Web di Mohri: http://www.cs.nyu.edu/~mohri/ml14/

Sebbene Elements of Statistical Learning sia un libro importante e piuttosto utile, non è molto rigoroso e omette molti dettagli tecnici molto importanti riguardanti gli algoritmi e omette completamente qualsiasi tipo di limite di generalizzazione. Fondamenti di Machine Learning è il libro più completo per l'apprendimento automatico (che ha senso vedere come è stato scritto da alcuni dei migliori nel campo). Tuttavia, il libro di testo è avanzato, quindi fai attenzione ai dettagli tecnici.

La generalizzazione destinata al potenziamento può essere trovata (con prova) qui: http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

Spero che siano sufficienti indicazioni per rispondere alla tua domanda. Sono titubante nel dare una risposta completa perché ci vorranno circa 50 pagine per esaminare tutti i dettagli necessari, per non parlare delle discussioni preliminari ...

In bocca al lupo!

— justanotherbrain
fonte

Quindi, se ho capito bene, questo dà un limite superiore per l'errore di generalizzazione per qualsiasi quantile, sull'intera distribuzione (sulla base di alcuni presupposti). Tuttavia, non capisco la tua frase "Ti preghiamo di non segnalare né l'errore di convalida incrociata né l'errore di test". Vuoi dire che queste due misure sono inutili o sono solo inutili per cercare di trovare un intervallo di previsione?

— LouisBBBB,

@LouisBBBB L'errore CV e l'errore di prova sono un po 'come riportare una media di esempio. In genere è una cattiva pratica riportare la media del campione senza una sorta di intervallo di confidenza perché ogni volta che eseguo l'esperimento otterrò un risultato diverso. Ho detto insignificante, ma forse "inutile" è meglio ... Si potrebbe sostenere che c'è un significato in una stima puntuale (cioè la definizione). Ma le stime puntuali, in generale, sono "inutili", nel senso che non caratterizzano la distribuzione dell'errore in "modo utile". "Utile" nel contesto del prendere decisioni.

— justanotherbrain,

Penso di aver capito cosa dici. Quindi preferisci analizzare la distribuzione degli errori anziché la media. E se torno alla domanda, Kasper voleva delle stime degli intervalli di previsione "per punto". La tua risposta è stata un limite superiore globale per la lunghezza dell'intervallo di previsione (o qualcosa di simile), giusto? Quindi conosci un modo per ottenere un limite superiore locale?

— LouisBBBB,

Ah - grazie per il chiarimento. Penso di aver frainteso la domanda di @ Kasper e di avere molte domande di follow-up. Grazie per averlo sottolineato, farò qualche scavo.

— justanotherbrain,