Stima non distorta della matrice di covarianza per moltiplicare i dati censurati

Le analisi chimiche dei campioni ambientali sono spesso censurate di seguito ai limiti di segnalazione o ai vari limiti di rilevazione / quantificazione. Quest'ultimo può variare, generalmente in proporzione ai valori di altre variabili. Ad esempio, potrebbe essere necessario diluire un campione con un'alta concentrazione di un composto per l'analisi, determinando un'inflazione proporzionale dei limiti di censura per tutti gli altri composti analizzati contemporaneamente in quel campione. Come altro esempio, a volte la presenza di un composto può alterare la risposta del test ad altri composti (una "interferenza di matrice"); quando questo viene rilevato dal laboratorio, aumenterà di conseguenza i suoi limiti di segnalazione.

Sto cercando un modo pratico per stimare l'intera matrice varianza-covarianza per tali set di dati, specialmente quando molti dei composti subiscono una censura superiore al 50%, come spesso accade. Un modello distributivo convenzionale è che i logaritmi delle (vere) concentrazioni sono distribuiti multinormalmente e questo sembra adattarsi bene nella pratica, quindi una soluzione per questa situazione sarebbe utile.

(Per "pratico" intendo un metodo che può essere attendibilmente codificato in almeno un ambiente software generalmente disponibile come R, Python, SAS, ecc., In un modo che viene eseguito abbastanza rapidamente da supportare ricalcoli iterativi come quelli che si verificano nell'imputazione multipla, e che è ragionevolmente stabile [motivo per cui sono riluttante a esplorare un'implementazione di BUGS, sebbene le soluzioni bayesiane in generale siano benvenute].)

Molte grazie in anticipo per i tuoi pensieri su questo argomento.

Non ho completamente interiorizzato il problema dell'interferenza con la matrice, ma qui c'è un approccio. Permettere:

è un vettore che rappresenta la concentrazione di tutti i composti target nel campione non diluito.$Y$

$Z$

$d$$d$

Il nostro modello è:

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

$\epsilon \sim N(0,\sigma^2\ I)$

Pertanto, ne consegue che:

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

$Z$$f_Z(.)$

$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

dove

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

La stima si basa quindi sull'uso della massima verosimiglianza o delle idee bayesiane. Non sono sicuro di quanto sia trattabile quanto sopra, ma spero che ti dia alcune idee.

Un'altra opzione più efficiente dal punto di vista computazionale sarebbe quella di adattare la matrice di covarianza mediante la corrispondenza del momento usando un modello che è stato chiamato "gaussiano dicomizzato", in realtà solo un modello di copula gaussiana.

Un recente articolo di Macke et al. 2010 descrive una procedura in forma chiusa per l'adattamento di questo modello che coinvolge solo la matrice di covarianza empirica (censurata) e il calcolo di alcune probabilità normali bivariate. Lo stesso gruppo (Bethge lab presso MPI Tuebingen) ha anche descritto modelli gaussiani discreti / continui ibridi che sono probabilmente ciò che si desidera qui (vale a dire, poiché i camper gaussiani non sono completamente "dicotomizzati" - solo quelli al di sotto della soglia).

Criticamente, questo non è uno stimatore ML e temo di non sapere quali siano le sue proprietà di distorsione.

Quanti composti ci sono nel tuo campione? (O quanto è grande la matrice di covarianza in questione?).

Alan Genz ha un codice molto bello in una varietà di lingue (R, Matlab, Fortran; vedi qui ) per il calcolo di integrali di densità normali multivariate su iper-rettangoli (cioè, i tipi di integrali necessari per valutare la probabilità, come notato da user28).

Ho usato queste funzioni ("ADAPT" e "QSIMVN") per integrali fino a circa 10-12 dimensioni, e diverse funzioni in quella pagina pubblicizzano integrali (e derivati ​​associati che potresti aver bisogno) per problemi fino alla dimensione 100. I don sappi se è abbastanza dimensioni per i tuoi scopi, ma in tal caso potrebbe presumibilmente permetterti di trovare le stime di massima verosimiglianza con la pendenza.