Quale metodo del kernel fornisce i migliori output di probabilità?

Recentemente ho usato il ridimensionamento di Platt delle uscite SVM per stimare le probabilità di eventi di default. Alternative più dirette sembrano essere "Kernel logistic Regression" (KLR) e la relativa "Import Vector Machine".

Qualcuno può dire quale metodo del kernel che fornisce output di probabilità è attualmente allo stato dell'arte? Esiste un'implementazione R di KLR?

Grazie mille per il tuo aiuto!

logistic svm kernel-trick

— RichardN
fonte

(+1) Una domanda molto interessante ...

— Steffen,

Risposte:

La classificazione dei processi gaussiana (usando Expectation Propagation) è probabilmente lo stato dell'arte dell'apprendimento automatico. C'è un eccellente libro di Rasmussen e Williams (scaricabile gratuitamente), il sito Web per il quale ha un'ottima implementazione MATLAB. Più software, libri, documenti ecc . Qui . Tuttavia, in pratica, KLR probabilmente funzionerà altrettanto bene per la maggior parte dei problemi, la maggiore difficoltà sta nella selezione del kernel e dei parametri di regolarizzazione, il che è probabilmente meglio fatto con la validazione incrociata, anche se la validazione incrociata lasciata in sospeso può essere approssimata molto efficacemente, vedi Cawley e Talbot (2008).

— Dikran Marsupial
fonte

(+1) Grazie per il link e i consigli sulla questione della selezione del modello.

— chl

Dovrei aggiungere, non usare le implementazioni basate sull'approssimazione di Laplace: il posteriore è molto inclinato e un'approssimazione simmetrica centrata sulla modalità generalmente non funzionerà molto bene.

— Dikran Marsupial,

Grazie Dikran! Potresti spiegarmi la relazione tra KLR e Kernel Smoothing? Il modello KLR è costruito in modo simile alla formulazione svm [perdita + penalità] e risolto tramite discesa gradiente. Ma i riferimenti allo stesso tempo (ad es. In "Regressione logistica del kernel e la macchina per l'importazione dei vettori", Zhu e Hastie 2005) su KLR vanno alla letteratura di lisciatura (ad es. "Modelli di additivi generalizzati", Hastie e Tibshirani 1990).

— RichardN,

Non ho molta familiarità con la letteratura di smoothing, ma i modelli del kernel sono strettamente correlati al smoothing di spline. Penso che il posto migliore in cui guardare siano le pubblicazioni di Grace Wahba ( stat.wisc.edu/~wahba ), il cui lavoro abbraccia sia i metodi di smoothing che quelli del kernel.

— Dikran Marsupial,

Grazie, darò un'occhiata più da vicino alle pubblicazioni di wahba. Puoi consigliare un'implementazione di KLR, nella migliore delle ipotesi in R?

— RichardN,

Immagino che tu sappia che il kernel per la regressione logistica non è parametrico, quindi prima di tutto hai questa limitazione.

Per quanto riguarda il pacchetto R, quello che conosco e funziona abbastanza bene è np : metodi di smoothing del kernel non parametrici per tipi di dati misti

Questo pacchetto fornisce una varietà di metodi kernel non parametrici (e semiparametrici) che gestiscono perfettamente una combinazione di tipi di dati di fattori continui, non ordinati e ordinati.

Per quanto riguarda lo stato dell'arte di kernell, posso consigliare di sperimentare quelli descritti in questo articolo dal 2009. Leggetelo attentamente per scegliere quello che è il migliore e più attuale per voi.

— mariana più morbida
fonte

Ehi Mariana, grazie per la tua risposta, ma abbiamo avuto un malinteso: io per "metodi del kernel" intendo metodi come la macchina vettoriale di supporto che usa il "trucco del kernel", non metodi di smoothing del kernel.

— RichardN,