Convalida i test Web a / b rieseguendo un esperimento: è valido?

Un webinar l'altro giorno da una società di test a / b ha fatto spiegare al loro "Data Scientist" residente che dovresti convalidare i tuoi risultati rieseguendo l'esperimento. La premessa era che se si seleziona la confidenza al 95%, c'è una probabilità del 5% (1/20) di un falso positivo. Se riesegui l'esperimento con gli stessi vincoli, ora c'è un 1/400 (suppongo che abbiano determinato questo come 0,05 ^ 2 = 1/400)

È una dichiarazione valida? (vale a dire "corri due volte, due vittorie di significatività statistica = 1/400 probabilità di falsi positivi")? Sarebbe stato un approccio migliore per aumentare il livello di significatività?

Da un punto di vista commerciale, la preoccupazione che ho è di rieseguire l'esperimento, stai esponendo più utenti a una pagina inferiore (trattamento) e perdendo così potenziali vendite.

Ignorando le probabilità di un falso positivo per il momento, lo guarderei così:

1. Se esegui l'esperimento due volte per ottenere lo stesso risultato, non hai idea se ci siano stati due risultati positivi positivi o due risultati falsi positivi consecutivi.
2. Se esegui l'esperimento due volte e ottieni due risultati diversi, non sai quale sia il vero positivo e quale sia il risultato falso positivo.

In entrambi i casi dovresti quindi eseguire un terzo esperimento, per essere sicuro. Questo forse va bene per esperimenti che sono relativamente economici, ma dove il costo è potenzialmente elevato (come perdere clienti) è necessario considerare il vantaggio.

Osservando le probabilità, la prima volta che esegui l'esperimento, c'è una probabilità 1/20 di un falso positivo. La seconda volta che esegui l'esperimento c'è ancora una probabilità 1/20 di un falso positivo (pensalo come se lanciassi un dado in cui ogni tiro ha una probabilità 1/6 di ottenere un certo numero). C'è solo una possibilità di 1/400 di avere due falsi positivi di fila.

Il vero problema è avere un'ipotesi ben definita con procedure rigorose e avere una dimensione del campione, un livello di errore e un intervallo di confidenza che puoi convivere o permettersi. La ripetizione dell'esperimento dovrebbe essere lasciata all'esplorazione

1. clienti nel tempo
2. modifiche apportate dall'organizzazione
3. modifiche apportate dalla concorrenza

piuttosto che i risultati della seconda ipotesi. Anche se spiegare questo ai manager è più facile a dirsi che a farsi.

Sì, questa affermazione è corretta, supponendo che il tuo esperimento sia l'ideale. Ma ottenere un esperimento ideale è molto più difficile di quanto questo sentimento dia credito. I dati del "mondo reale" sono disordinati, complicati e difficili da interpretare in primo luogo. C'è un enorme spazio per analisi imperfette, variabili nascoste (molto raramente "gli stessi vincoli") o comunicazioni errate tra uno scienziato di dati che fa il suo lavoro e un dirigente di marcatura che fa il loro.

Da un punto di vista aziendale garantire una buona metodologia e non essere troppo sicuri dei risultati; una sfida più complicata di quanto si possa pensare. Una volta che li abbassi, lavora su quel 5%.