Determinare la soglia della regola di decisione binaria ottimale dalle osservazioni con priori sconosciuti?

8

Considerate solo le osservazioni di un segnale binario perturbato dal rumore gaussiano con informazioni precedenti sconosciute, come posso stimare la soglia di decisione ottimale?

(No, questa non è una domanda a casa)

In particolare, penso al seguente modello: è una variabile casuale a due stati : $Y$ $(H_0,H_1)$

$P(Y|H_0) \sim \mathcal N(\mu_0,\sigma)$
$P(Y|H_1) \sim \mathcal N(\mu_1,\sigma),\quad \mu_0 < \mu_1$
$P(H_0) = \pi_0$
$P(H_1) = 1-\pi_0$

con parametri sconosciuti : . $\mu_0, \mu_1, \sigma, \pi_0$

La soglia di verosimiglianza massima a posteriori potrebbe essere calcolata da questi parametri se li conoscessi. Inizialmente stavo pensando a come stimare prima i parametri per raggiungere la soglia . Ma sto pensando che potrebbe essere più robusto stimare direttamente . $Y_t$ $Y_t$

Considerazioni: la normalizzazione delle osservazioni (sottrazione della media del campione e divisione per deviazione standard) riduce lo spazio dei parametri in 2 dimensioni: e . $\pi_0$ $\frac \sigma{\mu_1-\mu_0}$

— Mark Borgerding
fonte

Questo problema sarebbe molto più semplice se potessi supporre che Pi0 fosse 0,5. :-)

— Jim Clay

Potrebbe questa domanda essere in qualche modo legato a questi: stackoverflow.com/questions/1504378/... o stackoverflow.com/questions/5451089/...

— hotpaw2

È disponibile una sequenza di osservazioni formative per stimare le medie, le varianze, ecc.? Oppure ti viene semplicemente data una sequenza di dati in cui alcuni valori provengono da e alcuni da ma non sai quale sia quale?

H_{0}

$H_0$

H_{1}

$H_1$

— Dilip Sarwate,

6

La mia intuizione è che sarebbe difficile ottenere la giusta soglia di decisione che ci si aspetta di trovare:

τ = \frac{1}{2} (μ_{0} + μ_{1}) - \frac{σ^{2}}{‖ μ_{0} - μ_{1} ‖^{2}} \log \frac{π}{1 - π} (μ_{0} - μ_{1})

$\tau = \frac{1}{2}\left(\mu_0 + \mu_1\right) - \frac{\sigma^2}{\lVert\mu_0 - \mu_1\rVert^2} \log \frac{\pi}{1 - \pi}\left(\mu_0 - \mu_1\right)$

Dalle statistiche globali che stai prendendo in considerazione (media di esempio: ; deviazione standard: espressione più complessa ma dubito che implicherebbe un log). $\pi \mu_0 + (1 - \pi) \mu_1$

Vorrei affrontare il problema in questo modo:

Se si può supporre che sia piccolo $\sigma$

Lo dico, perché tieni presente che la soglia di decisione è influenzata da solo se è sufficientemente alto da consentire a entrambe le classi di sovrapporsi. Se i sono distanti da più di alcuni , le probabilità della classe precedente non hanno nulla da dire nel processo decisionale! $\pi$ $\sigma$ $\mu$ $\sigma$
- Esegui k-mean sulle tue osservazioni ( è piccolo ed è condiviso da entrambe le classi, quindi k-mean è in questo caso EM per il modello di miscela). Se vuoi semplicemente binarizzare queste osservazioni e nessun altro dato, puoi fermarti qui. $\sigma$
- Se hai nuove osservazioni da binarizzare e sai che sono generate dallo stesso processo, puoi usare i centroidi di classe trovati dai k- medie sui tuoi dati di allenamento come stime di e usare il centro come soglia di decisione. $\mu$
Se non si può fare alcuna supposizione su $\sigma$
- Esegui l'algoritmo EM (con covarianza diagonale in pool) sui dati di allenamento. Usa le variabili inferite "appartenenza alla classe soft" per binarizzare le tue osservazioni.
- Calcola la soglia di decisione dai parametri forniti da EM per binarizzare i nuovi dati generati dallo stesso processo. $\tau$

— pichenettes
fonte

2

Per riassumere hai due distribuzioni con parametri sconosciuti e una misurazione che potrebbe aver avuto origine da uno dei processi stocastici. Questo è generalmente indicato come un problema di associazione dei dati ed è molto comune e ampiamente studiato all'interno della comunità di monitoraggio. Si potrebbe prendere in considerazione l'utilizzo di un algoritmo PDAF (Probability Data Association Filter) o Multi-Hypothesis Tracking (MHT). Ciò dovrebbe fornire stime della media e della varianza per ciascuna distribuzione.
In alternativa, poiché il rumore è bianco e gaussiano, ML, MAP e MMSE sono tutti equivalenti e possono essere trovati minimizzando l'errore al quadrato medio (funzione di costo), come è effettivamente descritto dalla risposta precedente. Vorrei utilizzare un approccio di programmazione dinamica per trovare il minimo della funzione di costo. Questo dovrebbe essere meno complesso (dal punto di vista computazionale) rispetto ai metodi EM / clustering precedentemente descritti. Un altro commento: il PDAF è ricorsivo. Dato il semplice modello di segnale, dovrebbe funzionare in modo molto efficace e ciò che mi aspetto è una frazione della complessità computazionale dell'algoritmo EM. Buona fortuna, -B

— Brant Jameson
fonte

1

Esiste un algoritmo della metà degli anni '80 di Kittler e Illingworth chiamato "Minimum Error Thresholding" che risolve questo problema per le distribuzioni gaussiane. Recentemente Mike Titterington (Università di Glasgow) e JH Xue (ora alla UCL) hanno inserito questo in un quadro statistico più formale, vedi le loro pubblicazioni su riviste congiunte.

— helpfulHougher
fonte