Previsione con caratteristiche sia continue che categoriche

Alcune tecniche di modellazione predittiva sono più progettate per gestire predittori continui, mentre altre sono migliori per gestire variabili categoriche o discrete. Naturalmente esistono tecniche per trasformare un tipo in un altro (discretizzazione, variabili fittizie, ecc.). Tuttavia, esistono delle tecniche di modellazione predittiva progettate per gestire entrambi i tipi di input contemporaneamente senza semplicemente trasformare il tipo di funzionalità? In tal caso, queste tecniche di modellazione tendono a funzionare meglio sui dati per i quali si adattano meglio?

La cosa più vicina che conosco sarebbe che di solito gli alberi decisionali gestiscono bene i dati discreti e gestiscono i dati continui senza richiedere una discretizzazione anticipata . Tuttavia, questo non è proprio quello che stavo cercando poiché in realtà le divisioni sulle funzionalità continue sono solo una forma di discretizzazione dinamica.

Per riferimento, ecco alcune domande correlate, non duplicate:

• Come devono essere implementate le suddivisioni dell'albero decisionale quando si prevedono variabili continue?
• Posso usare la regressione multipla quando ho misurato predittori categorici e continui?
• Ha mai senso trattare i dati categorici come continui?
• Analisi continua e categorica dei dati variabili

Per quanto ne so, e ho studiato a fondo questo problema in passato, non ci sono tecniche di modellazione predittiva (oltre agli alberi, XgBoost, ecc.) Che sono progettate per gestire entrambi i tipi di input contemporaneamente senza semplicemente trasformare il tipo di funzionalità.

Si noti che algoritmi come Random Forest e XGBoost accettano un input di funzionalità miste, ma applicano una logica per gestirli durante la divisione di un nodo. Assicurati di comprendere la logica "sotto il cofano" e di essere a posto con qualsiasi cosa accada nella scatola nera.

$u_1$$u_2$$f_i$$d(u_1,u_2 )_{f_i}=(dis-categorical(u_1,u_2 )_{f_i}$$f_i$$d(u_1,u_2 )_{f_i}=dis-numeric(u_1,u_2 )_{f_i}$$f_i$$f_i$$u_1$$u_2$

Alcune funzioni di distanza note per caratteristiche categoriche:

• Levenshtien distance (o qualsiasi forma di "modifica distanza")

• Metrica di sottosequenza comune più lunga

• Distanza di Gower
• E più metriche qui

So che è passato un po 'di tempo da quando questa domanda è stata pubblicata, ma se stai ancora esaminando questo problema (o problemi simili) potresti prendere in considerazione l'idea di utilizzare modelli di additivi generalizzati (GAM). Non sono un esperto, ma questi modelli ti consentono di combinare modelli diversi per creare una singola previsione. Il processo utilizzato per trovare i coefficienti per i modelli che hai inserito risolve tutti per una volta, quindi puoi inviare un modello di additivo generalizzato al tuo modello preferito per predittori categorici e al tuo modello preferito per predittori continui e ottenere un singolo modello che minimizza RSS o qualunque altro criterio di errore tu voglia usare.

In cima alla mia testa, l'unico pacchetto software che conosco ha un'implementazione di GAM è il linguaggio R, ma sono sicuro che ce ne sono altri.

Mentre la discretizzazione trasforma i dati continui in dati discreti, è difficile affermare che variabili fittizie trasformano i dati categorici in dati continui. Infatti, poiché gli algoritmi possono essere eseguiti su computer, difficilmente può esistere un algoritmo di classificazione che NON trasforma i dati categorici in variabili fittizie.

Nello stesso senso un classificatore alla fine trasforma i suoi predittori in una variabile discreta che indica l'appartenenza alla classe (anche se genera una probabilità di classe, alla fine si sceglie un valore soglia). Di fatto molti classificatori come regressione logistica, foresta casuale, alberi delle decisioni e SVM funzionano tutti bene con entrambi i tipi di dati.

Ho il sospetto che sarebbe difficile trovare un algoritmo che funzioni con dati continui ma che non sia in grado di gestire dati categorici. Di solito tendo a scoprire che fa più differenza sul tipo di dati che hai sul lato sinistro del tuo modello.

Questa è una profonda domanda filosofica che viene comunemente affrontata dal punto di vista statistico e dell'apprendimento automatico. Alcuni dicono che la categorizzazione è migliore per un indicatore da discreto a categoriale, in modo che i pacchetti possano facilmente digerire gli input del modello. Altri dicono che il binning può causare la perdita di informazioni, ma tuttavia le variabili categoriali possono / devono essere convertite in {1,0} variabili indicatore che tralasciano l'ultima classe per i residui del modello.

Il libro - La regressione lineare applicata (Kutner et al.) Menziona la logica dell'introduzione di variabili indicatore nel modello nei primi capitoli. Potrebbero esserci anche altri testi simili.

La mia opinione su questo potrebbe essere un po 'troppo inverosimile: se immaginiamo le variabili categoriali come blocchi in un disegno sperimentale, la variabile indicatore è un'estensione naturale dell'analisi dei dati non basata su esperimenti. Per quanto riguarda gli algoritmi di data mining (famiglie dell'albero delle decisioni), la categorizzazione è inevitabile (manualmente o automatizzata-binning) che deve essere alimentata al modello.

Quindi, potrebbe non esserci un modello specializzato per variabili numeriche e categoriali allo stesso modo (senza binning-numerical o usando indicatori-categorici).