Come confrontare la media di due campioni i cui dati si adattano alle distribuzioni esponenziali

Ho due campioni di dati, un campione di base e un campione di trattamento.

L'ipotesi è che il campione di trattamento abbia una media più alta rispetto al campione di base.

Entrambi i campioni hanno una forma esponenziale. Dato che i dati sono piuttosto grandi, ho solo la media e il numero di elementi per ciascun campione al momento in cui eseguirò il test.

Come posso verificare questa ipotesi? Immagino che sia semplicissimo e ho trovato diversi riferimenti all'utilizzo dell'F-Test, ma non sono sicuro di come i parametri siano mappati.

hypothesis-testing statistical-significance exponential

— Jonathan Dobbie
fonte

Perché non hai i dati? Se i campioni sono davvero grandi, i test non parametrici dovrebbero funzionare alla grande, ma sembra che tu stia provando a eseguire un test dalle statistiche di riepilogo. È giusto?

— Mimshot,

I valori di base e di trattamento sono della stessa serie di pazienti o i due gruppi sono indipendenti?

— Michael M,

@Mimshot, i dati sono in streaming, ma hai ragione sul fatto che sto cercando di eseguire un test dalle statistiche di riepilogo. Funziona abbastanza bene con un test Z per dati normali

— Jonathan Dobbie,

In queste circostanze, uno z-test approssimativo è forse il migliore che puoi fare. Tuttavia, mi interesserebbe di più quanto sia grande il vero effetto del trattamento, non sul significato statistico. Ricorda che con campioni abbastanza grandi, qualsiasi piccolo effetto reale porterà ad un piccolo valore p.

— Michael M,

@january - anche se, se le sue dimensioni del campione sono abbastanza grandi, dal CLT saranno molto vicine alla distribuzione normale. Sotto l'ipotesi nulla, le varianze sarebbero le stesse (come lo sono i mezzi), quindi, con una dimensione del campione abbastanza grande, un test t dovrebbe funzionare bene; non sarà buono come puoi fare con tutti i dati, ma sarebbe comunque OK. , ad esempio, sarebbe abbastanza buono.

n_{1} = n_{2} = 100

$n_1 = n_2 = 100$

— jbowman,

Risposte:

È possibile verificare l'uguaglianza dei parametri medi rispetto all'alternativa secondo cui i parametri medi sono ineguali con un test del rapporto di verosimiglianza (test LR). (Tuttavia, se i parametri medi differiscono e la distribuzione è esponenziale, questo è uno spostamento di scala, non uno spostamento di posizione.)

Per un test a una coda (ma solo asintoticamente nel caso a due code), credo che il test LR risulta equivalente al seguente (per dimostrare che questo è in realtà lo stesso del test LR per il test a una coda nel caso in cui uno avrebbe bisogno di mostrare che la statistica LR era monotona in ): $\bar x/\bar y$

Diciamo che parametrizzare il ° di osservazione nel primo esponenziale come avente pdf e il esima osservazione nel secondo campione ad avere pdf (sopra i domini ovvi per le osservazioni e i parametri). (Per essere chiari, stiamo lavorando nella forma media non nella forma dei tassi qui; ciò non influirà sull'esito dei calcoli.) $i$ $1/\mu_x \exp(-x_i/\mu_x)$ $j$ $1/\mu_y \exp(-y_j/\mu_y)$

Poiché la distribuzione di è un caso speciale di gamma, , la distribuzione della somma di ', è distribuita ; allo stesso modo che per la somma di s, è . $X_i$ $\Gamma(1,\mu_x)$ $X$ $S_x$ $\Gamma(n_x,\mu_x)$ $Y$ $S_y$ $\Gamma(n_y,\mu_y)$

A causa della relazione tra le distribuzioni gamma e le distribuzioni chi-quadrato, risulta che è distribuito . Il rapporto di due chi-quadrati sui loro gradi di libertà è F. Quindi il rapporto, . $2/\mu_x S_x$ $\chi^2_{2n_x}$ $\frac{\mu_y}{\mu_x}\frac{S_x/n_x}{S_y/n_y} \sim F_{2n_x,2n_y}$

Sotto l'ipotesi nulla dell'uguaglianza dei mezzi, quindi, e sotto l'alternativa bilaterale, i valori potrebbero tendere a essere più piccoli o più grandi di un valore dal null distribuzione, quindi è necessario un test a due code. $\bar x/\bar y \sim F_{2n_x,2n_y}$

Simulazione per verificare che non abbiamo commesso un semplice errore nell'algebra:

Qui ho simulato 1000 campioni di dimensioni 30 per e 20 per da una distribuzione esponenziale con la stessa media, e ho calcolato la suddetta statistica rapporto-media. $X$ $Y$

Di seguito è riportato un istogramma della distribuzione risultante e una curva che mostra la distribuzione calcolata sotto il valore nullo: $F$

distribuzione simulata di esempio della statistica del rapporto sotto il valore null

Esempio, con discussione sul calcolo di valori p a due code :

Per illustrare il calcolo, ecco due piccoli campioni da distribuzioni esponenziali. Il campione X ha 14 osservazioni da una popolazione con media 10, il campione Y ha 17 osservazioni da una popolazione con media 15:

x: 12.173  3.148 33.873  0.160  3.054 11.579 13.491  7.048 48.836 
   16.478  3.323  3.520  7.113  5.358

y:  7.635  1.508 29.987 13.636  8.709 13.132 12.141  5.280 23.447 
   18.687 13.055 47.747  0.334  7.745 26.287 34.390  9.596

Le medie del campione sono rispettivamente 12.082 e 16.077. Il rapporto tra le medie è 0,7515

L'area a sinistra è semplice, poiché è nella coda inferiore (calc in R):

 > pf(r,28,34) 
 [1] 0.2210767

Abbiamo bisogno della probabilità per l'altra coda. Se la distribuzione fosse simmetrica all'inverso, sarebbe semplice farlo.

Una convenzione comune con il rapporto di varianze F-test (che è allo stesso modo a due code) è semplicemente quella di raddoppiare il valore p a una coda (effettivamente ciò che sta accadendo come qui ; questo è anche ciò che sembra essere fatto in R, ad esempio ); in questo caso fornisce un valore p di 0,44.

Tuttavia, se lo fai con una regola di rifiuto formale, inserendo un'area di in ciascuna coda, otterrai valori critici come descritto qui . Il valore p è quindi il più grande che porterebbe al rifiuto, che equivale ad aggiungere il valore p ad una coda sopra al valore p ad una coda nell'altra coda per i gradi di libertà scambiati. Nell'esempio sopra che fornisce un valore p di 0,43. $\alpha/2$ $\alpha$

— Glen_b -Restate Monica
fonte

Immagino che questo sia solo il mio spessore, ma da dove proviene 0.7515?

— Jonathan Dobbie,

r = media (x) / media (y) = 0,7515 - ovvero "Il rapporto tra

— medie

Va bene, fantastico. Ho 0,67, ma probabilmente è solo a causa di un errore nell'inserimento dei dati.

— Jonathan Dobbie,

Ho fatto la distinzione tra le medie della popolazione e delle medie campionarie risultanti più chiare

— Glen_b -Reinstate Monica

(+1) Ma sebbene sia tangenziale, non capisco l'ultimo paragrafo. In che modo raddoppiare il valore p a una coda non equivale a trovare il più grande , con un'area in ciascuna coda, che porterebbe al rifiuto? Perché dovresti scambiare i gradi di libertà?

α

$\alpha$

\frac{α}{2}

$\frac{\alpha}{2}$

— Scortchi - Ripristina Monica

Come addendum alla risposta di @ Glen_b, il rapporto di verosimiglianza è che puoi riordinare in dove . C'è un minimo minimo a , quindi il test F è davvero il test del rapporto di verosimiglianza rispetto alle alternative unilaterali all'ipotesi nulla di distribuzioni identiche.

n_{x} \log \frac{n_{x}}{\sum x_{i}} + n_{y} \log \frac{n_{y}}{\sum y_{j}} - (n_{x} + n_{y}) \log \frac{n_{x} + n_{y}}{\sum x_{i} + \sum y_{j}}

$n_x\log \frac{n_x}{\sum x_i} +n_y \log \frac{n_y}{\sum y_j} -(n_x+n_y)\log\frac{n_x+n_y}{\sum x_i +\sum y_j}$

n_{x} \log (\frac{n_{x}}{n_{y}} + \frac{1}{r}) + n_{y} \log (\frac{n_{y}}{n_{x}} + r) + n_{x} \log \frac{n_{y}}{n_{x} + n_{y}} + n_{y} \log \frac{n_{x}}{n_{x} + n_{y}}

$n_x\log\left(\frac{n_x}{n_y} + \frac{1}{r}\right) + n_y\log\left(\frac{n_y}{n_x}+r\right) + n_x\log\frac{n_y}{n_x+n_y} + n_y\log \frac{n_x}{n_x+n_y}$

r = \frac{\bar{x}}{\bar{y}}

$r=\frac{\bar{x}}{\bar{y}}$

r = 1

$r=1$

Per eseguire il test del rapporto di verosimiglianza appropriato per un'alternativa su due lati è comunque possibile utilizzare la distribuzione F; devi semplicemente trovare l'altro valore del rapporto tra del campione per cui il rapporto di verosimiglianza è uguale a quello del rapporto osservato , e quindi . Per questo esempio , & , dando un valore p complessivo di , (piuttosto vicino a quello ottenuto dall'approssimazione del chi-quadrato a la distribuzione del doppio del rapporto di verosimiglianza, ). $r_\mathrm{ELR}$ $r_\mathrm{obs}$ $\Pr(R>r_\mathrm{ELR})$ $r_\mathrm{ELR}=1.3272$ $\Pr(R>r_\mathrm{ELR})=0.2142$ $0.4352$ $0.4315$

Ma raddoppiare il valore p a una coda è forse il modo più comune per ottenere un valore p a due code: equivale a trovare il valore del rapporto del campione significa per cui la probabilità di coda è uguale a , quindi trova . Spiegato in questo modo, potrebbe sembrare mettere il carro davanti al cavallo nel lasciare che le probabilità della coda definiscano l'estremità di una statistica di prova, ma può essere giustificato come in effetti due test a una coda (ciascuno il LRT) con confronti multipli correzione— e le persone sono solitamente interessate a rivendicare che o che $r_\mathrm{ETP}$ $\Pr(R>r_\mathrm{ETP})$ $\Pr(R<r_\mathrm{obs})$ $\Pr(R>r_\mathrm{ETP})$ $\mu_x > \mu_y$ $\mu_x < \mu_y$ $\mu_x > \mu_y$ o . È anche meno complicato, e anche per campioni di dimensioni piuttosto ridotte, dà quasi la stessa risposta dell'LRT a due code. $\mu_x < \mu_y$

Segue il codice R:

x <- c(12.173, 3.148, 33.873, 0.160, 3.054, 11.579, 13.491, 7.048, 48.836,
       16.478, 3.323, 3.520, 7.113, 5.358)

y <- c(7.635, 1.508, 29.987, 13.636, 8.709, 13.132, 12.141, 5.280, 23.447, 
       18.687, 13.055, 47.747, 0.334,7.745, 26.287, 34.390, 9.596)

# observed ratio of sample means
r.obs <- mean(x)/mean(y)

# sample sizes
n.x <- length(x)
n.y <- length(y)

# define log likelihood ratio function
calc.llr <- function(r,n.x,n.y){
  n.x * log(n.x/n.y + 1/r) + n.y*log(n.y/n.x + r) + n.x*log(n.y/(n.x+n.y)) + n.y*log(n.x/(n.x+n.y))
}

# observed log likelihood ratio
calc.llr(r.obs,n.x, n.y) -> llr.obs

# p-value in lower tail
pf(r.obs,2*n.x,2*n.y) -> p.lo

# find the other ratio of sample means giving an LLR equal to that observed
uniroot(function(x) calc.llr(x,n.x,n.y)-llr.obs, lower=1.2, upper=1.4, tol=1e-6)$root -> r.hi

#p.value in upper tail
p.hi <- 1-pf(r.hi,2*n.x,2*n.y)

# overall p.value
p.value <- p.lo + p.hi

#approximate p.value
1-pchisq(2*llr.obs, 1)

— Scortchi - Ripristina Monica
fonte