Stimatori di densità adattiva del kernel?


12

Qualcuno può riferire sulla propria esperienza con uno stimatore adattivo della densità del kernel?
(Ci sono molti sinonimi: adattivo | variabile | larghezza variabile, KDE | istogramma | interpolatore ...)

La stima della densità del kernel variabile dice "variamo la larghezza del kernel in diverse regioni dello spazio di campionamento. Esistono due metodi ..." in realtà, di più: vicini entro un raggio, KNN vicini più vicini (K di solito fisso), alberi Kd, multigrid ...
Ovviamente nessun singolo metodo può fare tutto, ma i metodi adattivi sembrano attraenti.
Vedi ad esempio la bella foto di una mesh adattiva 2D nel metodo degli elementi finiti .

Mi piacerebbe sapere cosa ha funzionato / cosa non ha funzionato per i dati reali, in particolare> = 100k punti di dati sparsi in 2d o 3d.

Aggiunto il 2 novembre: ecco un diagramma di una densità "disordinata" (a tratti x ^ 2 * y ^ 2), una stima del vicino più vicino e KDE gaussiano con il fattore di Scott. Mentre un (1) esempio non dimostra nulla, mostra che NN è in grado di adattarsi ragionevolmente bene alle colline taglienti (e, usando alberi KD, è veloce in 2d, 3d ...) testo alternativo


Puoi dare un po 'più di contesto su cosa intendi per "cosa funziona" o sugli obiettivi specifici del tuo progetto a portata di mano. Li ho usati per visualizzare i processi dei punti spaziali, ma dubito che questo sia ciò che avevi in ​​mente quando hai posto questa domanda.
Andy W,

Risposte:


7

L'articolo * DG Terrell; DW Scott (1992). "Stima della densità del kernel variabile". Annals of Statistics 20: 1236–1265. * Citato alla fine dell'articolo di Wikipedia che tu stesso citi chiaramente afferma che, a meno che lo spazio delle osservazioni non sia molto scarso, il metodo del kernel variabile non è raccomandato sulla base dell'errore globale quadratico medio radice (entrambi locali e globale) per le variabili casuali distribuite gaussiane: (attraverso argomenti teorici) citano le figure di ( è la dimensione del campione) e (attraverso i risultati del bootstrap) (n p 4 pn450np4p è il numero di dimensioni) come impostazioni in cui il metodo del kernel variabile diventa competitivo con quelli a larghezza fissa (a giudicare dalla tua domanda non ti trovi in ​​queste impostazioni).

L'intuizione alla base di questi risultati è che se non ci si trova in impostazioni molto sparse, la densità locale semplicemente non varia abbastanza per consentire al guadagno in bias di superare la perdita di efficienza (e quindi l'AMISE del kernel a larghezza variabile aumenta rispetto al AMISE di larghezza fissa). Inoltre, date le grandi dimensioni del campione che avete (e le piccole dimensioni) il kernel a larghezza fissa sarà già molto locale, diminuendo ogni potenziale guadagno in termini di bias.


Grazie Kwak. "... per le variabili casuali distribuite gaussiane"; conosceresti il ​​lavoro più recente per le distribuzioni "ingombranti"?
denis,

@Denis:> 'Clumpy' =? Concentrato =? Con code più strette rispetto al gaussiano?
user603

Non sono un esperto, ma come "ingombro di set di dati" nel documento Lang et al. "Approfondimenti sugli algoritmi di stima della densità del kernel veloce", 2004, 8p
denis,

@Denis:> direi che peggiora il problema (cioè il kernel NN dovrebbe funzionare meglio su dati meno scomodi). Ho una spiegazione intuitiva, ma non andrà bene qui, inoltre potresti voler chiedere questo sulla scheda madre come una domanda separata (link a questo) per avere opinioni aggiuntive.
user603


-1

Loess / lowess è sostanzialmente un metodo KDE variabile, con la larghezza del kernel impostata dall'approccio più vicino. Ho scoperto che funziona abbastanza bene, sicuramente molto meglio di qualsiasi modello a larghezza fissa quando la densità dei punti dati varia in modo marcato.

Una cosa da tenere presente con KDE e i dati multidimensionali è la maledizione della dimensionalità. A parità di altre condizioni, ci sono molti meno punti entro un raggio prestabilito quando p ~ 10, rispetto a quando p ~ 2. Questo potrebbe non essere un problema per te se hai solo dati 3d, ma è qualcosa da tenere a mente.


3
Loess è un metodo REGRESSION del kernel variabile. La domanda posta sulla stima della DENSITÀ del kernel variabile.
Rob Hyndman,

Oops, hai ragione. Ho letto male la domanda.
Hong Ooi,

@Rob, scusa le mie domande ingenue: se variare la larghezza del kernel è (a volte) utile per la regressione locale / smoothing del kernel, perché è negativo per la stima della densità? La stima della densità non è un caso della stima f () per f () == densità ()?
denis,

@Hong Ooi, quanti punti hai usato in Ndim? Grazie
denis,

@Denis. Ottima domanda Potete per favore aggiungerlo come una domanda corretta sul sito e vedremo quali risposte le persone possono trovare.
Rob Hyndman,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.