Diversi metodi non parametrici per stimare la distribuzione di probabilità dei dati

Ho alcuni dati e stavo cercando di adattarmi a una curva regolare. Tuttavia, non voglio far valere troppe credenze precedenti o preconcetti troppo forti (tranne quelli implicati dal resto della mia domanda) su di esso, o qualsiasi distribuzione specifica.

Volevo solo adattarlo con una curva liscia (o avere una buona stima della distribuzione di probabilità da cui potrebbe provenire). L'unico metodo che conosco per fare questo è la stima della densità del kernel (KDE). Mi chiedevo se le persone fossero a conoscenza di altri metodi per stimare una cosa del genere. Volevo solo un loro elenco e da quello posso fare le mie ricerche per scoprire quali voglio usare.

Dare collegamenti o buoni riferimenti (o intuizioni su quali sono buoni) sono sempre ben accetti (e incoraggiati)!

Non specifichi che stai parlando di variabili casuali continue, ma assumerò, dal momento che menzioni KDE, che intendi questo.

Altri due metodi per il montaggio di densità lisce:

1) stima della densità log-spline. Qui una curva spline è adattata alla densità del log.

Un esempio:

Kooperberg and Stone (1991),
"Uno studio sulla stima della densità logspline",
Statistiche computazionali e analisi dei dati , 12 , 327-347

Kooperberg fornisce un collegamento a un pdf del suo documento qui , sotto "1991".

Se usi R, c'è un pacchetto per questo. Un esempio di adattamento generato da esso è qui . Di seguito è riportato un istogramma dei log dei set di dati lì e le riproduzioni delle logspline e le stime della densità del kernel dalla risposta:

Stima della densità della logspline:

Stima della densità del kernel:

2) Modelli a miscela finita . Qui viene scelta una comoda famiglia di distribuzioni (in molti casi, la normale), e si presume che la densità sia una miscela di diversi membri di quella famiglia. Si noti che le stime della densità del kernel possono essere viste come una tale miscela (con un kernel gaussiano, sono una miscela di gaussiani).

Più in generale, questi potrebbero essere adattati tramite ML, o l'algoritmo EM, o in alcuni casi tramite la corrispondenza del momento, sebbene in circostanze particolari possano essere fattibili altri approcci.

(Esistono numerosi pacchetti R che eseguono varie forme di modellazione di miscele.)

Aggiunto in modifica:

3) Istogrammi spostati medi
(che non sono letteralmente lisci, ma forse abbastanza lisci per i tuoi criteri non dichiarati):

Immagina di calcolare una sequenza di istogrammi a una certa larghezza di bin fissa ( ), attraverso un'origine bin che si sposta di per qualche intero ogni volta, e quindi una media. A prima vista sembra un istogramma fatto a binwidth , ma è molto più fluido.$b$$b/k$$k$$b/k$

Ad esempio, calcola 4 istogrammi ciascuno alla larghezza di binario 1, ma compensa di + 0, + 0,25, + 0,5, + 0,75 e quindi calcola la media delle altezze a una data . Si finisce con qualcosa del genere:$x$

Diagramma tratto da questa risposta . Come ho detto lì, se vai a quel livello di sforzo, potresti anche fare una stima della densità del kernel.

Con riserva dei commenti sopra su ipotesi come levigatezza, ecc. È possibile eseguire una stima della densità non parametrica bayesiana utilizzando modelli di miscela con il processo di Dirichlet in precedenza.

L'immagine seguente mostra i contorni della densità di probabilità recuperati dalla stima MCMC di un modello bivariato normale di miscela DP per i dati "vecchi fedeli". I punti sono colorati IIRC in base al raggruppamento ottenuto nell'ultima fase MCMC.

Il 2010 fornisce un buon background.

Una scelta popolare è la foresta casuale (vedere concretamente il capitolo cinque di " Foreste decisionali: un quadro unificato per la classificazione, la regressione, la stima della densità, l'apprendimento collettivo e l'apprendimento semi-supervisionato ".

Descrive in dettaglio l'algoritmo e lo valuta rispetto ad altre scelte popolari come k-mean, GMM e KDE. La foresta casuale è implementata in R e scikit-learn.

Foresta casuale sono alberi decisionali insaccati in modo intelligente.