Test di ipotesi su dati continui a zero inflazionato

Gradirei molto i tuoi consigli sul seguente problema:

Ho un ampio set di dati continuo con molti zeri (~ 95%) e ho bisogno di trovare il modo migliore per testare se alcuni sottoinsiemi sono "interessanti", cioè non sembrano essere tratti dalla stessa distribuzione di il riposo. L'inflazione zero deriva dal fatto che ogni punto dati si basa su una misurazione del conteggio con zeri sia reali che di campionamento, ma il risultato è continuo in quanto tiene conto di alcuni altri parametri ponderati dal conteggio (e quindi se il conteggio è zero, il risultato è anche zero).

Quale sarebbe il modo migliore per farlo? Ho la sensazione che Wilcoxon e persino i test di permutazione della forza bruta siano inadeguati quando sono distorti da questi zeri. Concentrarsi su misurazioni diverse da zero rimuove anche i veri zeri che sono estremamente importanti. I modelli a zero zero per i dati di conteggio sono ben sviluppati, ma non adatti al mio caso.

Ho preso in considerazione l'idea di adattare una distribuzione Tweedie ai dati e quindi di inserire un glm in response = f (subset_label). Teoricamente, questo sembra fattibile, ma mi chiedo se (a) sia eccessivo e (b) supporterebbe ancora implicitamente che tutti gli zeri sono zeri campione, cioè sarebbero distorti allo stesso modo (nella migliore delle ipotesi) come una permutazione?

Intuitivamente, sembra che abbia una sorta di disegno gerarchico che combina una statistica binomiale basata sulla proporzione di zeri e, diciamo, una statistica di Wilcoxon calcolata su valori diversi da zero (o, meglio ancora, valori diversi da zero integrati con una frazione di zeri basati su alcuni precedenti). Sembra una rete bayesiana ...

Spero di non essere il primo ad avere questo problema, quindi sarei molto grato se potessi indicarmi idonee tecniche esistenti ...

Grazie molto!

@msp, penso che tu stia guardando un modello a due stadi in quell'allegato (non ho avuto il tempo di leggerlo), ma i dati continui a zero inflazione sono il tipo con cui lavoro molto. Per adattare un modello parametrico a questi dati (per consentire i test di ipotesi) è possibile inserire due stadi ma poi si hanno due modelli (Y è il bersaglio e X sono covariate): P (Y = 0 | X) e P (Y | X; Y> 0). Devi usare la simulazione per "riunirli" insieme. Il libro di Gelmans (e il pacchetto arm in R) mostra questo processo per questo modello esatto (usando la regressione logistica e la regressione lineare ordinaria con un collegamento log).

L'altra opzione che ho visto e che mi piace di più è quella di adattare una regressione gamma gonfiata zero, che è la stessa di sopra (ma gamma dell'errore anziché guassiano) e puoi riunirli per test di ipotesi su P (Y | X) . Non so come farlo in R, ma puoi farlo in SAS NLMIXED. Vedi questo post , funziona bene.

Un approccio simile alla carta di Fletcher viene utilizzato nei test di marketing, in cui possiamo arbitrariamente separare gli effetti degli interventi (come la pubblicità) in (a) una variazione del numero di acquisto del marchio (ovvero la proporzione di zero) e (b) a cambiamento nella frequenza di acquisto della banda (le vendite date le vendite si verificano affatto). Questo è un approccio solido e concettualmente significativo nel contesto di marketing e nel contesto ecologico di cui Fletcher discute. In effetti, questo può essere esteso a (c) una modifica delle dimensioni di ogni acquisto.

È possibile trattare il numero esatto di zeri sconosciuto, ma vincolato tra 0 e il numero osservato di zeri. Questo può sicuramente essere gestito usando una formulazione bayesiana del modello. Forse un metodo di imputazione multipla può anche essere modificato per variare appropriatamente i pesi (tra 0 e 1) delle osservazioni zero ...