Verifica se due distribuzioni binomiali sono statisticamente diverse l'una dall'altra

Ho tre gruppi di dati, ognuno con una distribuzione binomiale (cioè ogni gruppo ha elementi che hanno successo o fallimento). Non ho una probabilità prevista di successo, ma invece posso solo fare affidamento sul tasso di successo di ciascuno come approssimazione per il vero tasso di successo. Ho trovato solo questa domanda , che è vicina ma non sembra affrontare esattamente questo scenario.

Per semplificare il test, diciamo solo che ho 2 gruppi (3 possono essere estesi da questo caso di base).

• Prove di gruppo 1: $n_1$ = 2455
• Prove di gruppo 2: $n_2$ = 2730

• Successo gruppo 1: $k_1$ = 1556
• Successo gruppo 2: $k_2$ = 1671

Non ho una probabilità di successo attesa, solo ciò che so dai campioni. Quindi il mio tasso di successo implicito per i due gruppi è:

• Tasso di successo del gruppo 1: $p_1$ = 1556/2455 = 63,4%
• Gruppo 2 tasso di successo: $p_2$ = 1671/2730 = 61.2%

Il tasso di successo di ciascuno dei campioni è abbastanza vicino. Tuttavia, anche le dimensioni dei miei campioni sono piuttosto grandi. Se controllo il CDF della distribuzione binomiale per vedere quanto è diverso dal primo (dove suppongo che il primo sia il test null) ho una probabilità molto piccola che il secondo possa essere raggiunto.

In Excel:

1-BINOM.DIST (1556.2455,61,2%, TRUE) = 0,012

Tuttavia, ciò non tiene conto di nessuna variazione del primo risultato, ma presuppone solo che il primo risultato sia la probabilità del test.

Esiste un modo migliore per verificare se questi due campioni di dati sono effettivamente statisticamente diversi l'uno dall'altro?

La soluzione è un semplice google: http://en.wikipedia.org/wiki/Statistical_hypothesis_testing

Quindi ti piacerebbe testare la seguente ipotesi nulla contro la data alternativa

contro H A : p 1 ≠ p $H_0:p_1=p_2$$H_A:p_1\neq p_2$

Quindi devi solo calcolare la statistica del test che è

dove p = n 1 p 1 + n 2 p 2 . $\hat p=\frac{n_1\hat p_1+n_2\hat p_2}{n_1+n_2}$

Così ora, nel vostro , p 2 = 0,612 , n 1 = 2455 e n 2 = $\hat p_1=.634$$\hat p_2=.612$$n_1=2455$$n_2=2730.$

Una volta calcolata la statistica del test, devi solo calcolare il valore della regione critica corrispondente per confrontare anche la statistica del test. Ad esempio, se si sta verificando questa ipotesi al livello di confidenza del 95%, è necessario confrontare la statistica del test con il valore della regione critica di (per questo test a due code).$z_{\alpha/2}=1.96$

Ora, se allora puoi rifiutare l'ipotesi nulla, altrimenti non puoi rifiutare l'ipotesi nulla. $z>z_{\alpha/2}$

Bene, questa soluzione funziona nel caso in cui si confrontino due gruppi, ma non si generalizza al caso in cui si desidera confrontare 3 gruppi.

Puoi comunque utilizzare un test Chi Squared per verificare se tutti e tre i gruppi hanno le stesse proporzioni come suggerito da @Eric nel suo commento sopra: "Questa domanda aiuta? Stats.stackexchange.com/questions/25299/ ... - Eric"

In R the answer is calculated as:

fisher.test(rbind(c(1556,2455-1556), c(1671,2730-1671)), alternative="less")

Solo un riassunto:

Le risposte di Dan e Abaumann suggeriscono di provare secondo un modello binomiale in cui l'ipotesi nulla è un singolo modello binomiale unificato con la sua media stimata dai dati empirici. Le loro risposte sono corrette in teoria ma hanno bisogno di approssimazione usando la distribuzione normale poiché la distribuzione della statistica del test non segue esattamente la distribuzione normale. Pertanto, è corretto solo per campioni di grandi dimensioni.

Ma la risposta di David sta indicando un test non parametrico usando il test di Fisher. Le informazioni sono qui: https://en.wikipedia.org/wiki/Fisher%27s_exact_test E possono essere applicate a campioni di piccole dimensioni ma difficili da calcolare per campioni di grandi dimensioni.

Quale test usare e quanto ti fidi del tuo valore p è un mistero. Ma ci sono sempre distorsioni nel test da scegliere.

Your test statistic is $Z = \frac{\hat{p_1}-\hat{p_2}}{\sqrt{\hat{p}(1-\hat{p})(1/n_1+1/n_2)}}$, where $\hat{p}=\frac{n_1\hat{p_1}+n_2\hat{p_2}}{n_1+n_2}$.

The critical regions are $Z > \Phi^{-1}(1-\alpha/2)$ and $Z<\Phi^{-1}(\alpha/2)$ for the two-tailed test with the usual adjustments for a one-tailed test.

In Python, statsmodels has a function called proportions_ztest. Here is an example of its usage:

import statsmodels.api as sm
import numpy as np
import rpy2.robjects.packages as rpackages
import rpy2.robjects as robjects
rstats = rpackages.importr('stats')

s1 = 1556
n1 = 2455

s2 = 1671
n2 = 2730

# manual calculation
p1 = s1 / n1
p2 = s2 / n2
p = (s1 + s2) / (n1 + n2)

z = (p1 - p2) / (p*(1-p)*((1/n1)+(1/n2)))**0.5

# using R in Python with rpy2
rmatrix = robjects.r.matrix(robjects.IntVector([s1, n1-s1, s2,n2-s2]), nrow=2)
fisher_test = rstats.fisher_test(rmatrix, alternative="two.sided")

zscore, pval = sm.stats.proportions_ztest([s1, s2], [n1, n2], alternative='two-sided')

print('Manual calculation of z: {:.6f}'.format(z))
print('Z-score from statsmodels: {:.6f}'.format(zscore))
print('R pvalue from fisher.test: {:.6f}'.format(fisher_test[0][0]))
print('Statsmodels pvalue: {:.6f}'.format(pval))

This prints out:

Manual calculation of z: 1.610825
Z-score from statsmodels: 1.610825
R pvalue from fisher.test: 0.108268
Statsmodels pvalue: 0.107218

Original post: Dan's answer is actually incorrect, not to offend anyone. A z-test is used only if your data follows a standard normal distribution. In this case, your data follows a binomial distribution, therefore a use a chi-squared test if your sample is large or fisher's test if your sample is small.

Edit: My mistake, apologies to @Dan. A z-test is valid here if your variables are independent. If this assumption is not met or unknown, a z-test may be invalid.