Come posso stimare la probabilità che un membro casuale di una popolazione sia "migliore" di un membro casuale di una popolazione diversa?

Supponiamo che io abbia campionamenti da due popolazioni distinte. Se misuro quanto tempo impiega ciascun membro a svolgere un compito, posso facilmente stimare la media e la varianza di ogni popolazione.

Se ora ipotizzo un accoppiamento casuale con un individuo per ogni popolazione, posso stimare la probabilità che il primo sia più veloce del secondo?

Ho in mente un esempio concreto: le misurazioni sono i tempi per me in bicicletta da A a B e le popolazioni rappresentano percorsi diversi che potrei prendere; Sto cercando di capire quale sia la probabilità che la selezione del percorso A per il mio prossimo ciclo sia più veloce della selezione del percorso B. Quando eseguo effettivamente il ciclo, ho un altro punto dati per il mio set di campioni :).

Sono consapevole che questo è un modo orribilmente semplicistico per provare a risolverlo, anche perché in un dato giorno il vento ha maggiori probabilità di influenzare il mio tempo rispetto a qualsiasi altra cosa, quindi per favore fatemi sapere se pensate che lo stia chiedendo la domanda sbagliata ...

Soluzione

Lascia che i due mezzi siano e μ y e le loro deviazioni standard siano rispettivamente σ x e σ y . La differenza nei tempi tra due corse ( Y - X ) ha quindi media μ y - μ x e deviazione standard $\mu_x$$\mu_y$$\sigma_x$$\sigma_y$$Y-X$$\mu_y - \mu_x$ . La differenza standardizzata ("punteggio z") è$\sqrt{\sigma_x^2 + \sigma_y^2}$

A meno che i tempi della corsa non abbiano distribuzioni strane, la probabilità che la corsa impieghi più tempo della corsa X è approssimativamente la distribuzione cumulativa normale, Φ , valutata in z .$Y$$X$$\Phi$$z$

Calcolo

Puoi calcolare questa probabilità su una delle tue uscite perché hai già stime di ecc. :-). A tal fine è facile da memorizzare alcuni valori chiave Φ : Φ ( 0 ) = 0,5 = 1 / 2 , Φ ( - 1 ) ≈ 0,16 ≈ 1 / 6 , Φ ( - 2 ) ≈ 0,022 ≈ 1 / 40 , e Φ ( - 3 ) ≈ $\mu_x$$\Phi$$\Phi(0) = .5 = 1/2$$\Phi(-1) \approx 0.16 \approx 1/6$$\Phi(-2) \approx 0.022 \approx 1/40$ . (L'approssimazione può essere scarsa per | z | molto più grande di 2 , ma conoscere Φ ( - 3 ) aiuta con l'interpolazione.) Insieme a Φ ( z ) = 1 - Φ ( - z ) e un po 'di interpolazione, tu può stimare rapidamente la probabilità a una cifra significativa, che è più che abbastanza precisa data la natura del problema e i dati.$\Phi(-3) \approx 0.0013 \approx 1/750$$|z|$$2$$\Phi(-3)$$\Phi(z) = 1 - \Phi(-z)$

Esempio

Supponiamo che il percorso impieghi 30 minuti con una deviazione standard di 6 minuti e il percorso Y impieghi 36 minuti con una deviazione standard di 8 minuti. Con dati sufficienti che coprono una vasta gamma di condizioni, gli istogrammi dei dati potrebbero eventualmente approssimare questi:$X$$Y$

(Queste sono funzioni di densità di probabilità per le variabili Gamma (25, 30/25) e Gamma (20, 36/20). Osserva che sono decisamente inclinate verso destra, come ci si aspetterebbe per i tempi di guida.)

Poi

da cui

abbiamo

Stimiamo quindi che la risposta sia 0,6 tra 0,5 e 0,84: 0,5 + 0,6 * (0,84 - 0,5) = circa 0,70. (Il valore corretto ma eccessivamente preciso per la distribuzione normale è 0,73.)

$Y$$X$

(La probabilità corretta per gli istogrammi visualizzati è del 72%, anche se nessuno dei due è normale: questo illustra l'ambito e l'utilità dell'approssimazione normale per la differenza nei tempi di intervento.)

Il mio approccio istintivo potrebbe non essere il più statisticamente sofisticato, ma potresti trovarlo più divertente :)

Vorrei ottenere un foglio di carta millimetrata di dimensioni decenti e suddividere le colonne in intervalli di tempo. A seconda di quanto durano le tue uscite - stiamo parlando di un tempo medio di 5 minuti o un'ora - potresti usare blocchi di dimensioni diverse. Supponiamo che ogni colonna sia un blocco di due minuti. Scegli un colore per il percorso A e un colore diverso per il percorso B e, dopo ogni corsa, traccia un punto nella colonna appropriata. Se c'è già un punto di quel colore, spostati in alto di una riga. In altre parole, questo sarebbe un istogramma in numeri assoluti.

Quindi, creeresti un istogramma divertente ad ogni pedalata e vedrai visivamente la differenza tra i due percorsi.

Il mio senso basato sulla mia esperienza come pendolare in bici (non verificato attraverso la quantificazione) è che i tempi non saranno normalmente distribuiti - avrebbero un disallineamento positivo, o in altre parole una lunga coda di tempi di fascia alta. Il mio tempo tipico non è molto più lungo del mio tempo più breve possibile, ma ogni tanto mi sembra di accendere tutte le luci rosse e c'è un limite superiore molto più alto. La tua esperienza potrebbe essere diversa. Ecco perché penso che l'approccio dell'istogramma potrebbe essere migliore, quindi puoi osservare tu stesso la forma della distribuzione.

PS: Non ho abbastanza rappresentante per commentare in questo forum, ma adoro la risposta di Whuber! Affronta la mia preoccupazione per l'incertezza in modo abbastanza efficace con un'analisi di esempio. E mi piace l'idea di calcolare nella tua testa per distogliere la mente dalla collina successiva :)

$X$$Y$$x,y$$x > y$$P(X_{i} > Y_{j})$$i,j$

#X, Y are the two data sets
ii = rep(0,10000)
for(k in 1:10000)
{
   x1 = sample(X,1)
   y1 = sample(Y,1)
   ii[k] = (x1>y1) 
}

# this is an estimate of P(X>Y)
mean(ii)