Test A / B: test z-test vs t-test vs chi square vs fisher test esatto

Sto cercando di capire il ragionamento scegliendo un approccio di test specifico quando si tratta di un semplice test A / B - (ovvero due variazioni / gruppi con un respone binario (convertito o meno). Come esempio userò i dati di seguito

Version  Visits  Conversions
A        2069     188
B        1826     220

La risposta migliore qui è ottima e parla di alcune delle ipotesi sottostanti per i test del quadrato z, te chi. Ma ciò che trovo confuso è che diverse risorse online citeranno approcci diversi e penseresti che i presupposti per un test A / B di base dovrebbero essere praticamente gli stessi?

Ad esempio, questo articolo usa z-score :
Questo articolo usa la seguente formula (che non sono sicuro se è diversa dal calcolo di zscore?):

Questo documento fa riferimento al test t (p 152):

Quindi quali argomentazioni possono essere fatte a favore di questi diversi approcci? Perché si dovrebbe avere una preferenza?

Per aggiungere un altro candidato, la tabella sopra può essere riscritta come una tabella di contingenza 2x2, in cui è possibile utilizzare il test esatto di Fisher (p5)

              Non converters  Converters  Row Total
Version A     1881            188         2069  
Versions B    1606            220         1826
Column Total  3487            408         3895

Ma secondo questo thread l'esatto test del pescatore dovrebbe essere usato solo con campioni di dimensioni inferiori (qual è il limite?)

E poi ci sono i test t e z associati, il test f (e la regressione logistica, ma per ora lo voglio tralasciare) .... Mi sento affogare in diversi approcci di test e voglio solo essere in grado di fare una sorta di argomento per i diversi metodi in questo semplice caso di test A / B.

Utilizzando i dati di esempio sto ottenendo i seguenti valori p

https://vwo.com/ab-split-test-significance-calculator/ fornisce un valore p di 0,001 (punteggio z)
http://www.evanmiller.org/ab-testing/chi-squared.html (usando il test chi quadrato) fornisce un valore p di 0,00259
E in R fisher.test(rbind(c(1881,188),c(1606,220)))$p.valuedà un valore p di 0,002785305

Che immagino siano abbastanza vicini ...

Ad ogni modo, spero solo in una discussione salutare su quali approcci usare nei test online in cui le dimensioni dei campioni sono solitamente migliaia e i rapporti di risposta sono spesso del 10% o meno. Il mio istinto mi sta dicendo di usare il chi-quadrato, ma voglio essere in grado di rispondere esattamente al perché lo sto scegliendo in molti altri modi per farlo.

— L Xandor
fonte

Per quanto riguarda - e -test la tua domanda ha già una risposta qui: stats.stackexchange.com/questions/85804/…

z

$z$

t

$t$

— Tim

Ho trovato questa dimostrazione piuttosto utile. Ciò dimostra che il test z per le proporzioni è essenzialmente equivalente al test chi-quadrato di omogeneità sulla tabella di contingenza 2x2. rinterested.github.io/statistics/chi_square_same_as_z_test.html

— yueyanw

Risposte:

Utilizziamo questi test per motivi diversi e in circostanze diverse.

-test. Untest presuppone che le nostre osservazioni siano tratte indipendentemente da una distribuzione normale con media sconosciuta evarianza nota. Untest viene utilizzato principalmente quando disponiamo di dati quantitativi. (cioè pesi di roditori, età di individui, pressione sistolica, ecc.) Tuttavia, itest possono essere utilizzati anche se interessati alle proporzioni. (ovvero la percentuale di persone che dormono almeno otto ore di sonno, ecc.) $z$ $z$ $z$ $z$
-test. Untest presuppone che le nostre osservazioni siano tratte indipendentemente da una distribuzione normale con media evarianza sconosciute. Si noti che con untest , non si conosce la varianza della popolazione. Questo è molto più comune del conoscere la varianza della popolazione, quindi untest è generalmente più appropriato di untest , ma praticamente ci sarà poca differenza tra i due se le dimensioni del campione sono grandi. $t$ $t$ $t$ $t$ $z$

$z$ $t$

$z$ $t$ $z$
$p$ $p$ $p$

Continuo a discutere le dimensioni dei campioni - riferimenti diversi ti forniranno metriche diverse su quando i tuoi campioni sono abbastanza grandi. Vorrei solo trovare una fonte attendibile, guardare la loro regola e applicare la loro regola per trovare il test desiderato. Non "guarderei in giro", per così dire, finché non trovi una regola che "ti piace".

$z$ $t$

ha senso? Spero che sia di aiuto!

— Matt Brems
fonte

Grazie per la risposta dettagliata! Lo esaminerò in dettaglio: sono sicuro che avrò alcune domande!

— L Xandor,

Potresti spiegare ulteriormente in che modo il test chi-quadro e il test esatto di Fisher non indicano la direzione di un effetto? Se tutti i test di statistica inferenziale forniscono un livello di confidenza attorno al fatto che due set di campioni siano tratti da popolazioni diverse o dalla stessa popolazione, allora cos'è la teoria matematica che non ti permetterà di dire che la differenza direzionale nei valori medi sarebbe valida (gruppo B ha un punteggio più alto)?

— Chris F,

Per chiarezza, il test chi-quadrato e il test esatto di Fisher stanno facendo la stessa cosa, ma il valore p viene calcolato in modo leggermente diverso. (È un'approssimazione sotto chi-quadrato e un calcolo esatto sotto l'esatto di Fisher.) Mi rivolgerò al chi-quadrato e generalizzerà con quello di Fisher. Il problema qui è la premessa. "Se tutti i test statistici inferenziali forniscono un livello di confidenza sul fatto che due campioni siano estratti da ..." - non è quello che fa il test chi-quadrato. L'ipotesi nulla per il test chi-quadrato è che non vi è alcuna associazione e l'ipotesi alternativa ...

— Matt Brems,

... è che esiste qualche associazione tra le due variabili categoriali. Stai semplicemente testando l'esistenza di un'associazione e non pre-specificando una determinata direzione. (Esistono alcune statistiche meno note là fuori che specificano una certa relazione, quindi è possibile; tuttavia questo non è ciò che il test chi-quadrato è progettato per fare.) Per dedurre in seguito che esiste una particolare relazione direzionale basata su un valore p calcolato in base a una diversa serie di ipotesi progettate solo per verificare l'esistenza di un'associazione sarebbe un errore.

— Matt Brems,

H_{0} : μ = 0

$H_0: \mu = 0$

H_{A} : μ \neq 0

$H_A: \mu \neq 0$

t

$t$

p

$p$

μ

$\mu$

μ

$\mu$

H_{0} : μ \leq 0

$H_0: \mu \leq 0$

H_{A} : μ > 0

$H_A: \mu > 0$

p

$p$

α = 0.05

$\alpha=0.05$

μ

$\mu$

-3

Per un test a 3 vie di solito si utilizza un ANOVA anziché 3 test separati. Si prega di verificare anche la correzione Bonferroni prima di test multipli. Utilizza questo https://www.google.com/search?q=testing+multiple+means&rlz=1C1CHBD_enIN817IN817&oq=testing+multiple+means+&aqs=chrome..69i57j69i60l3j69i61j0.3564j0j7&sourceid=chrome

— Harini
fonte