Dimensione del campione richiesta per determinare quale di un set di annunci ha la percentuale di clic più elevata

Sono un progettista di software e sto lavorando a un progetto per un cliente, e vorrei assicurarmi che la mia analisi sia statisticamente valida.

Considera quanto segue: Abbiamo n annunci (n <10) e vogliamo semplicemente sapere quale annuncio ha il rendimento migliore. Il nostro ad server pubblicherà in modo casuale uno di questi annunci. Il successo è se l'utente fa clic sull'annuncio: il nostro server ne tiene traccia.

Dato: intervallo di confidenza: 95%

Domanda: qual è la dimensione del campione stimata? (Quanti annunci totali dobbiamo pubblicare), perché? (ricorda che sono un manichino)

Grazie

— Jonathan
fonte

Potresti chiarire cosa intendi con "margine di errore 5%"?

— onestop il

@onestop - buon chiarimento - L'ho rimosso dalla domanda. Ho appena preso quella variabile dal seguente calcolatore di dimensioni del campione: raosoft.com/samplesize.html Ma non credo che sia rilevante in questa domanda. Grazie!

— Jonathan

Per molti test, è possibile calcolare una dimensione del campione in modo che il test raggiunga una certa potenza data una dimensione di effetto presunta (fissa). In altre parole, devi prima specificare queste cose: 1) quale test vuoi usare? 2) quale potere vuoi che abbia quel test? a condizione che 3) una dimensione dell'effetto che ritieni interessante. 1) è qualcosa che le persone qui probabilmente possono aiutarti. 2) potrebbe essere correlato al 95% che hai indicato. 3) tuttavia, è qualcosa che devi fornire in anticipo: quanto diverse devono essere le probabilità di essere considerate interessanti in modo diverso?

— Caracal,

Quindi se devo dare più parametri qui vai: 1. prova da usare - non ne ho idea - hai suggerimenti? 2. potere : anche dopo aver esaminato la definizione di Wikipedia - non so come rispondere in modo intelligente. 3. dimensione dell'effetto : diciamo meglio del 10%

— Jonathan

Il test che probabilmente desideri è il test esatto di Fisher . Sfortunatamente, data la probabile percentuale di clic molto bassa e le dimensioni ridotte degli effetti previsti, avrai bisogno di una N enorme per ottenere l'intervallo di confidenza che desideri. Supponiamo che la percentuale di clic "reale" del tuo annuncio migliore sia .11 e il secondo migliore .1. Inoltre, supponiamo che desideri che la probabilità di non riuscire a respingere erroneamente l'ipotesi nulla (che non vi sia alcuna differenza tra i due annunci), sia inferiore a .20. Se è così, avrai bisogno di una N nell'ordine di 10.000.

> library(statmod)   
> power.fisher.test(.1,.11,20000,20000,.05)
[1] 0.84

Come ha suggerito un commentatore, probabilmente non dovresti preoccuparti di una differenza del dieci percento nel rendimento degli annunci. Per differenze più grossolane, la dimensione necessaria dei campioni diminuisce rapidamente.

> power.fisher.test(.1,.2,200,200,.05)
[1] 0.785

— fgregg
fonte