Il modo migliore per valutare i metodi di stima PDF

Vorrei testare alcune delle mie idee che penso siano migliori di qualsiasi cosa io abbia visto. Potrei sbagliarmi, ma vorrei mettere alla prova le mie idee e smentire i miei dubbi con osservazioni più certe.

Quello che ho pensato di fare è il seguente:

1. Definire analiticamente un insieme di distribuzioni. Alcuni di questi sono facili come Gaussian, uniform o Tophat. Ma alcuni di questi devono essere difficili e stimolanti come la distribuzione dei Simpson.
2. Implementare software basato su tali distribuzioni analitiche e utilizzarle per generare alcuni esempi.
3. Poiché le distribuzioni sono definite analiticamente, conosco già, per definizione, i loro veri PDF. Questo è fantastico
4. Quindi testerò i seguenti metodi di stima PDF con i campioni sopra:
   • Metodi di stima PDF esistenti (come KDE con vari kernel e larghezze di banda).
   • La mia idea che penso valga la pena provare.
5. Quindi misurerò l'errore delle stime rispetto ai PDF reali.
6. Quindi saprò meglio quale dei metodi di stima PDF è buono.

Le mie domande sono:

• Q1: ci sono miglioramenti rispetto al mio piano sopra?
• D2: Trovo difficile definire analiticamente molti PDF reali. Esiste già un elenco completo di molti PDF reali definiti analiticamente con varie difficoltà (comprese quelle molto difficili) che posso riutilizzare qui?

A2: Puoi testare i tuoi metodi in 1D sul seguente set di benchmark .

• A1. Mi sembra un piano ragionevole. Solo per citare un paio di punti. Ti consigliamo di provare con diverse metriche di errore ( , divergenza KL, ecc.) Poiché i metodi funzioneranno in modo diverso a seconda della funzione di perdita. Inoltre, ti consigliamo di testare un numero diverso di campioni. Infine, molti metodi di stima della densità funzionano notoriamente in modo discontinuo vicino a discontinuità / confini, quindi assicurati di includere pdf troncati nel tuo set.$L^p$

• A2. Sei interessato solo ai pdf 1-D o hai intenzione di testare il caso multivariato? Per quanto riguarda una suite di benchmark di pdf, in passato ho posto una domanda in qualche modo correlata con l'obiettivo di testare algoritmi MCMC , ma non ho trovato nulla di simile a un set di pdf ben consolidato.

Se hai un sacco di tempo e risorse computazionali, potresti considerare di eseguire una sorta di test contraddittorio della tua idea:

• Definire una famiglia di pdf parametrici molto flessibile (ad esempio, una grande combinazione di un numero di pdf noti) e spostarsi nello spazio dei parametri della miscela tramite un metodo di ottimizzazione globale non convesso (*) in modo da ridurre al minimo le prestazioni del metodo e massimizzare prestazioni di altri metodi di stima della densità all'avanguardia (e possibilmente viceversa). Questo sarà un forte test della forza / debolezza del tuo metodo.

Infine, il requisito di essere migliore di tutti gli altri metodi è un limite eccessivamente elevato; non ci deve essere alcun principio del pranzo libero al lavoro (qualsiasi algoritmo ha alcune ipotesi precedenti sottostanti, come scorrevolezza, scala di lunghezza, ecc.). Affinché il tuo metodo sia un valido contributo, devi solo mostrare che ci sono regimi / domini di un certo interesse generale in cui il tuo algoritmo funziona meglio (il test contraddittorio sopra può aiutarti a trovare / definire un tale dominio).

(*) Poiché la tua metrica delle prestazioni è stocastica (la valuterai tramite il campionamento Monte Carlo), potresti anche voler controllare questa risposta sull'ottimizzazione di funzioni oggettive rumorose e costose.

Q1: ci sono miglioramenti rispetto al mio piano sopra?

Dipende. I residui della distribuzione della miscela spesso derivano dal fare cose stupide come specificare una distribuzione della miscela non necessaria come modello di dati per cominciare. Quindi, la mia esperienza suggerisce di specificare almeno quanti termini di distribuzione della miscela nell'output quanti sono presenti nel modello. Inoltre, l'output del PDF misto è diverso dai PDF nel modello. La ricerca predefinita di Mathematica include distribuzioni di miscele con due termini e può essere specificato come un numero maggiore.

D2: Esiste già un elenco completo di molti PDF reali definiti analiticamente con varie difficoltà (comprese quelle molto difficili) che posso riutilizzare qui?

Questo è un elenco dalla routine FindDistribution di Mathematica :

Possibili distribuzioni continue per TargetFunctions sono: BetaDistribution, Distribuzione di Cauchy, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, distribuzione gamma, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, LaplaceDistribution, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, distribuzione paretiana, Distribuzione di Rayleigh, StudentTDistribution, UniformDistribution, distribuzione di weibull , IstogrammaDistribuzione.

Possibili distribuzioni discrete per TargetFunzioni sono: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYistDistution, Depistution distribuzione

Il criterio di informazione interna utilizza un criterio di informazione bayesiano insieme a priori sulle funzioni target.