Test per differenze significative nei rapporti tra variabili casuali normalmente distribuite

In relazione al Analizzando rapporti di variabili e Come parametrizzare il rapporto di due variabili normalmente distribuite, o l'inverso di quello? .

Supponiamo che io abbia un numero di campioni provenienti da quattro diverse distribuzioni casuali continue, che possiamo supporre essere approssimativamente normali. Nel mio caso, questi corrispondono ad alcune metriche delle prestazioni di due diversi filesystem (diciamo ext4 e XFS), sia con che senza crittografia. La metrica potrebbe essere, ad esempio, il numero di file creati al secondo o la latenza media per alcune operazioni sui file. Possiamo presumere che tutti i campioni tratti da queste distribuzioni saranno sempre rigorosamente positivi. Chiamiamo queste distribuzioni dove e .$\textrm{Perf}_{fstype,encryption}$$fstype \in \{xfs,ext4\}$$encryption \in \{crypto,nocrypto\}$

Ora, la mia ipotesi è che la crittografia rallenta uno dei filesystem di un fattore maggiore rispetto all'altro. Esiste un semplice test per l'ipotesi ?$\frac{E[\textrm{Perf}_{xfs,crypto}]}{E[\textrm{Perf}_{xfs,nocrypto}]} < \frac{E[\textrm{Perf}_{ext4,crypto}]}{E[\textrm{Perf}_{ext4,nocrypto}]}$

Un'alternativa alla buona risposta di StasK è usare un test di permutazione. Il primo passo è definire una statistica di prova , forse:$T$

$T = \frac{\widehat{Perf}_{ext4,crypto}}{\widehat{Perf}_{ext4,nocrypto}} - \frac{\widehat{Perf}_{xfs,crypto}}{\widehat{Perf}_{xfs,nocrypto}}$

dove è, forse, la media campionaria delle osservazioni di , ecc. (Questo si adatta alla tua definizione dell'ipotesi come rapporto di le aspettative piuttosto che la possibilità alternativa dell'aspettativa del rapporto - quale alternativa può essere ciò che realmente vuoi.) Il secondo passo è permeare casualmente le etichette nei dati molte volte, diciamo, e calcola per ogni permutazione. Il passaggio finale consiste nel confrontare la originale con la osservata ; il p-value permutazione-stimato sarebbe la frazione di . Perfext4,cryptoext4,xfsi=1,…,10000TiTTiTi≤$\widehat{Perf}_{ext4,crypto}$$\text{Perf}_{ext4,crypto}$$ext4, \space xfs$$i=1, \dots, 10000$$T_i$$T$$T_i$$T_i \leq T$

Il test di permutazione ti libera dall'affidamento agli asintotici, ma ovviamente a seconda delle dimensioni del tuo campione (e anche dei dati, ovviamente), il metodo delta, che uso anche occasionalmente, può funzionare bene.

È possibile calcolare l'errore standard (asintotico) del rapporto usando il metodo delta . Se hai due variabili casuali e tali che nella distribuzione (che sarebbe il caso se si dispone di dati indipendenti, ma si tratterebbe anche di un caso più generale di dati raggruppati quando hai eseguito i test su macchine diverse), quindi per il rapporto con l'analogo della popolazione di , abbiamo Y $X$$Y$

$$\sqrt{n}\left(\begin{array}{c} \bar X-\mu_X \\ \bar Y-\mu_Y\end{array}\right) \rightarrow N\left( \left( \begin{array}{c} 0 \\ 0 \end{array}\right), \left( \begin{array}{cc} \sigma_{XX} & \sigma_{XY} \\ \sigma_{XY} & \sigma_{YY} \end{array} \right) \right)$$ $r=\bar Y/\bar X$$r_o = \mu_Y/\mu_X$ $$\sqrt{n}(r-r_0) \to N(0,\frac{\mu_Y^2}{\mu_X^4}\sigma_{XX} - 2\frac{\mu_Y}{\mu_X^3}\sigma_{XY} + \frac1{\mu_X^2}\sigma_{YY})$$ Se e sono indipendenti, come potrebbe essere ragionevole supporre nel tuo caso, allora questa espressione semplifica in qualche modo facendo cadere , quindi otteniamo che i coefficienti quadrati delle variazioni si sommino: Ha il ulteriore vantaggio che le dimensioni del campione potrebbero essere diverse. Inoltre, se RHS e LHS sono indipendenti, puoi formare la statistica -test per$X$$Y$$\sigma_{XY}$ $${\rm CV}^2[r] = {\rm CV}^2[\bar X] + {\rm CV}^2[\bar Y]$$ $z$$H_0:$ nessuna differenza prendendo la differenza dei rapporti e dividendola per il corrispondente errore standard ottenuto da questi CV.

Spero che tu possa prenderlo da lì ed eseguire i restanti calcoli della busta per ottenere la formula finale.

Si noti che il risultato è asintotico e il rapporto è uno stimatore distorto di in piccoli campioni. Il bias ha l'ordine di e scompare asintoticamente rispetto alla variabilità del campionamento che è dell'ordine di .$r$$r_0$$O(1/n)$$O(1/\sqrt{n})$

Il rapporto tra variati normali è distribuito in Cauchy. Sapendo ciò, puoi semplicemente eseguire un test del fattore Bayes.

Questa è stata un'idea piuttosto spontanea. Ora non sono sicuro del meccanismo di generazione dei dati. Installi file system diversi sullo stesso PC e poi esegui il benchmark per i due casi, in modo da poter assumere una struttura gerarchica di dati?

Inoltre, non sono sicuro che guardare i rapporti abbia effettivamente senso.

E poi hai scritto il rapporto tra i valori attesi, mentre ho pensato al valore atteso dei rapporti. Immagino di aver bisogno di maggiori informazioni sulla generazione dei dati prima di procedere.

Nei casi in cui non è possibile eseguire permutazioni, ad esempio quando la dimensione del campione crea milioni di possibilità, un'altra soluzione sarebbe il ricampionamento Monte Carlo.

L'ipotesi nulla è che non vi sia alcuna differenza nella velocità tra e , per e . Pertanto, il rapporto medio di tutti i campioni non differisce da quello dei .$ext4$$xfs$$nocrypto$$crypto$$\frac{ext4}{xfs}$$nocrypto$$crypto$

$H_{0}:T_{observed}=\frac{\sum x_{nocrypto} }{n_{nocrypto}}-\frac{\sum x_{crypto} }{n_{crypto}}=0$

dove $x=\frac{ext4}{xfs}$

e $n=sample\, size$

Se è vero, la selezione casuale dei risultati per i rapporti di o comporterebbe anche . Si calcolerebbe:$H_{0}$$nocrypto$$crypto$$T_{observed}=0$

$T_{resampling}=\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{nocrypto}}-\frac{x_{1}^{random}{+ x}_{n}^{random}}{n_{crypto}}$

ed eseguiamo, diciamo, 10.000 colpi di ricampionamento. La distribuzione risultante dei valori è l'intervallo di confidenza per . La differenza tra e ratio è significativa se il valore calcolato non rientra nell'intervallo, ad esempio, del 95% dei valori . H 0 n o c r y p t o c r y p t o T o b s e r v e d ( p < 0,05 ) T r e s a m p l i n $T_{resampling}$$H_{0}$$nocrypto$$crypto$$T_{observed}$$(p < 0.05)$$T_{resampling}$