Determinazione di una discretizzazione ottimale dei dati da una distribuzione continua

Supponiamo di avere un set di dati da una distribuzione continua con densità supportata su che non è noto, ma è piuttosto grande, quindi una densità del kernel (ad esempio) la stima, , è piuttosto accurata. Per una particolare applicazione ho bisogno di trasformare i dati osservati in un numero finito di categorie per produrre un nuovo set di dati con una funzione di massa implicita . $Y_{1}, ..., Y_{n}$ $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

Un semplice esempio potrebbe essere quando e quando . In questo caso la funzione di massa indotta sarebbe $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

I due "parametri di ottimizzazione" qui sono il numero di gruppi, , e il vettore di lunghezza delle soglie . Indica la funzione di massa indotta da . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Vorrei una procedura che rispondesse, ad esempio, "Qual è la scelta migliore di modo che l'aumento del numero di gruppi a (e la scelta del ottimale lì) produrrebbe un miglioramento trascurabile?" . Sento che forse è possibile creare una statistica di prova (forse con la differenza nella divergenza di KL o qualcosa di simile) la cui distribuzione può essere derivata. Qualche idea o letteratura pertinente? $m, \lambda$ $m+1$ $\lambda$

Modifica: ho spaziato uniformemente le misurazioni temporali di una variabile continua e sto usando una catena di Markov inomogenea per modellare la dipendenza temporale. Francamente, le catene di markov statali discrete sono molto più facili da gestire e questa è la mia motivazione. I dati osservati sono percentuali. Attualmente sto usando una discretizzazione ad hoc che mi sembra molto buona, ma penso che questo sia un problema interessante in cui è possibile una soluzione formale (e generale).

Modifica 2: minimizzare effettivamente la divergenza di KL equivarrebbe a non discretizzare i dati, quindi l'idea è totalmente fuori. Ho modificato il corpo di conseguenza.

continuous-data discrete-data

— macro
fonte

Nella maggior parte dei casi, le esigenze dell'applicazione successiva determineranno la bontà di qualsiasi soluzione. Forse, per darci qualche consiglio, potresti dire di più al riguardo.

— whuber

Innanzitutto, definisci cosa intendi per trascurabile . Off-hand, questo sembra correlato a un problema di distorsione della frequenza . Il testo di Cover & Thomas offre una buona introduzione leggibile a tali argomenti.

— cardinale

Penso alla discretizzazione con livelli come un modello con parametri (per le soglie). In questa impostazione, quando dico trascurabile, intendo "non vale la pena aggiungere il parametro aggiuntivo" in senso statistico.

k

$k$

k - 1

$k-1$

— Macro,

Non sono sicuro che la discretizzazione sia effettivamente una buona mossa. Non sarai in grado di generalizzare oltre i confini che i valori discreti creano nello spazio originale delle tue osservazioni.

— Bayerj,

Condividerò la soluzione che mi è venuta in mente un po 'di tempo fa: non si tratta di un test statistico formale ma può fornire un'euristica utile.

Considera il caso generale in cui hai osservazioni continue ; senza perdita di generalità supponiamo che lo spazio campione di ciascuna osservazione sia l'intervallo . Uno schema di categorizzazione dipenderà da un numero di categorie, e dalle soglie delle posizioni che dividono le categorie, . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

Indica la versione categorizzata di di , dove . Considerando la discretizzazione dei dati come un partizionamento dei dati originali in classi, la varianza di può essere considerata come una combinazione di variazione all'interno e tra i gruppi, per un valore fisso di : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v a r (Y_{i}) = v a r (E (Y_{i} | Z_{i} (m, λ))) + E (v a r (Y_{i} | Z_{i} (m, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Una data categorizzazione ha successo nel produrre gruppi omogenei se c'è relativamente poca varianza all'interno del gruppo, quantificata da . , cerchiamo un raggruppamento parsimonioso che conferisca la maggior parte della variazione in al termine . in particolare, vogliamo scegliere modo che, aggiungendo livelli aggiuntivi, non aggiungiamo in modo significativo all'omogeneità all'interno del gruppo. Con questa ragione, definiamo ottimale per un valore fisso di da $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ $m$

λ_{m}^{⋆} = {a r g m i n}_{λ} E (v a r (Y_{i} | Z_{i} (m, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

Una diagnostica approssimativa per determinare quale scelta di è adeguata è guardare il dropoff in in funzione di : questa traiettoria è monotonicamente non crescente e dopo che diminuisce drasticamente, puoi vedere che stai acquisendo una precisione relativamente minore includendo più categorie. Questo euristico è simile nello spirito al modo in cui un " Trame grafico " viene talvolta utilizzato per vedere quanti componenti principali spiegano "abbastanza" della variazione. $m$ $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— macro
fonte