Back-testing o cross-validation quando il processo di costruzione del modello era interattivo

Ho alcuni modelli predittivi di cui vorrei eseguire il back-test delle prestazioni (ovvero, portare il mio set di dati, "riavvolgerlo" a un punto precedente nel tempo e vedere come il modello si sarebbe comportato in modo prospettico).

Il problema è che alcuni dei miei modelli sono stati creati tramite un processo interattivo. Ad esempio, seguendo i consigli nelle Strategie di modellizzazione della regressione di Frank Harrell , in un modello ho usato spline cubiche ristrette per gestire possibili associazioni non lineari tra funzionalità e risposta. Ho assegnato i gradi di libertà di ogni spline sulla base di una combinazione di conoscenza del dominio e misure univariate di forza dell'associazione. Ma i gradi di libertà che desidero consentire al mio modello dipendono ovviamente dalle dimensioni del set di dati, che varia notevolmente durante il backtest. Se non desidero selezionare manualmente i gradi di libertà separatamente per ogni volta in cui il modello viene testato nuovamente, quali sono le altre opzioni?

Per un altro esempio, sto attualmente lavorando al rilevamento anomalo tramite la ricerca di punti con leva elevata. Se fossi felice di farlo a mano, guarderei semplicemente ogni punto di dati ad alta leva, verificherei che i dati fossero puliti e filtrerei o pulirli manualmente. Ma questo si basa su un sacco di conoscenza del dominio, quindi non so come automatizzare il processo.

Gradirei consigli e soluzioni sia (a) al problema generale dell'automazione delle parti interattive del processo di costruzione del modello, sia (b) consigli specifici per questi due casi. Grazie!

Cordiali saluti, questo potrebbe essere più appropriato per SE.DataScience, ma per il momento, risponderò qui.

Mi sembra che potresti trovarti in una situazione in cui non avrai altra scelta che scrivere una sceneggiatura che implementerà le tue soluzioni. Non avendo mai lavorato con le spline, la mia conoscenza di queste è strettamente teorica, quindi per favore abbi pazienza e fammi sapere se c'è qualcosa che non vedo.

In linea di massima, sembra che tu abbia un paio di elementi diversi che dovrai risolvere per implementarlo.

1.) Determinazione dei parametri del modello in modo dinamico. In precedenza hai menzionato che hai utilizzato una combinazione di conoscenza del dominio e misure univariate. Mi sembra qualcosa che dovresti essere in grado di gestire euristicamente. Dovrai concordare all'inizio un insieme di regole che il tuo programma implementerà. Questo potrebbe essere o meno un compito banale in quanto dovrai fare qualche riflessione approfondita sulle potenziali implicazioni di tali regole. Ciò potrebbe richiedere di visitare nuovamente ogni fase del processo e catalogare non solo le decisioni, ma anche i motivi alla base di tali decisioni.

2.) Realmente implementando il tuo programma. Al fine di rendere i tuoi test delle prestazioni correttamente dinamici e facili da mantenere e modificare in futuro, dovrai pensare a come strutturarli. Probabilmente vorrai utilizzare una sorta di loop per la stima delle prestazioni predittive del tuo modello principale, preferibilmente con una lunghezza definibile dall'utente per consentire una maggiore flessibilità in futuro. Probabilmente vorrai anche scrivere funzioni separate per ogni azione che vuoi che il tuo programma intraprenda in quanto ciò renderà più semplice testare la funzionalità e mantenere e modificare il tuo programma in futuro. Come minimo, probabilmente avrai bisogno di funzioni per la selezione del set di dati (vale a dire solo i periodi di tempo "passati" al momento del backtest), la pulizia e la convalida (a cui dovresti davvero pensare,

La tua domanda sul rilevamento e la gestione anomali rientra anche in queste due preoccupazioni e mi occuperei di implementare scrivendo loop più piccoli all'interno del tuo ciclo di programma principale che continuerebbero a "ripulire" e rimontare il modello fino a raggiungere un punto in cui ti piacerebbe esso (che di nuovo, dovrai definirti).

Se questo sembra un grosso compito, è perché lo è; le persone hanno scritto intere librerie di software (a volte in modo molto redditizio) per svolgere questo tipo di attività. Oltre a ciò, è difficile offrire consigli più specifici senza conoscere meglio i processi, la struttura dei dati e il linguaggio di programmazione in cui hai svolto il tuo lavoro finora.

Se uno di questi ti è utile e vuoi che io mi dilunghi su uno di questi, commenta, fammi sapere, e sarei più che felice di farlo.

Piuttosto che cercare di capire come automatizzare i tuoi sforzi manuali di ottimizzazione del modello, eluderei questo problema tutti insieme esaminando gli studenti con varianza più bassa che richiedono molta meno ottimizzazione, anche se ciò è a un costo di una maggiore propensione al modello. Volete avere fiducia nei risultati dei test retrospettivi che si riducono in gran parte alla bassa varianza di campionamento nelle vostre previsioni e l'introduzione di un processo di ottimizzazione automatizzato su uno studente che ha già la varianza di campionamento sta lavorando contro tale obiettivo. Potrebbe sembrare che la coda scuoti il ​​cane qui, ma tutto ciò che richiede molta attenta messa a punto (manuale o automatizzata) non è un ottimo candidato per un ambiente di backtest davvero onesto IMO.