Il caso di discriminazione asiatica di Palantir: come sono state calcolate le probabilità?

Ho letto questo articolo sul caso di Palantir in cui il Dipartimento del Lavoro li sta accusando di discriminazione nei confronti degli asiatici. Qualcuno sa da dove hanno preso queste stime di probabilità?

Non ricevo 1/741 nell'articolo (a).

(a) Per la posizione di Ingegnere addetto al controllo qualità, da un pool di oltre 730 candidati qualificati, di cui circa il 77% erano asiatici, Palantir ha assunto sei candidati non asiatici e un solo candidato asiatico. L'impatto negativo calcolato dall'UFCCP supera tre deviazioni standard. La probabilità che questo risultato si sia verificato per caso è approssimativamente una su 741.

(b) Per la posizione di Software Engineer, da un pool di oltre 1.160 candidati qualificati - circa l'85% dei quali erano asiatici - Palantir ha assunto 14 candidati non asiatici e solo 11 candidati asiatici. L'impatto negativo calcolato dall'UFCCP supera cinque deviazioni standard. La probabilità che questo risultato si sia verificato per caso è di circa uno su 3,4 milioni.

(c) Per la posizione di Tirocinante per il QA, da un pool di oltre 130 candidati qualificati, di cui circa il 73% asiatici, Palantir ha assunto 17 candidati non asiatici e solo quattro candidati asiatici. L'impatto negativo calcolato dall'UFCCP supera le sei deviazioni standard. La probabilità che questo risultato si sia verificato per caso è di circa uno su un miliardo.

Ho intenzione di decodificare questo per esperienza con i casi di discriminazione. Posso sicuramente stabilire da dove provengono i valori di "uno su 741" , ecc . Tuttavia, così tante informazioni sono state perse nella traduzione che il resto della mia ricostruzione si basa sul fatto di aver visto come le persone fanno statistiche in ambito giudiziario. Posso solo indovinare alcuni dei dettagli.

---

Da quando sono state approvate le leggi antidiscriminazione negli anni '60 (titolo VI), i tribunali degli Stati Uniti hanno imparato a esaminare i valori di p e confrontarli con le soglie di e 0,01 . Hanno anche imparato a esaminare gli effetti standardizzati, in genere denominati "deviazioni standard" e confrontarli con una soglia di "2-3 deviazioni standard". Al fine di stabilire un caso prima facie per una causa di discriminazione, i querelanti in genere tentano un calcolo statistico che mostri un "impatto disparato" che superi queste soglie. Se tale calcolo non può essere supportato, il caso di solito non può avanzare.$0.05$$0.01$

Gli esperti statistici per i querelanti spesso cercano di esprimere i loro risultati in questi termini familiari. Alcuni esperti conducono un test statistico in cui l'ipotesi nulla esprime "nessun impatto negativo", supponendo che le decisioni di assunzione fossero puramente casuali e non governate da qualsiasi altra caratteristica dei dipendenti. (Che si tratti di un'alternativa a una coda o a due code può dipendere dall'esperto e dalle circostanze.) Quindi convertono il valore p di questo test in un numero di "deviazioni standard" facendo riferimento alla distribuzione normale standard- - anche quando lo standard normale è irrilevante per il test originale. In questo modo sperano di comunicare chiaramente le proprie conclusioni al giudice.

Il test preferito per i dati che possono essere riassunti nelle tabelle di contingenza è il test esatto di Fisher. La presenza di "Exact" nel suo nome è particolarmente piacevole per i querelanti, perché connota una determinazione statistica che è stata fatta senza errori (qualunque cosa possa essere!).

Ecco quindi la mia (ricostruzione speculativa) dei calcoli del Dipartimento del Lavoro.

1. Hanno eseguito Fisher's Exact Test, o qualcosa del genere (come un test con un valore p determinato tramite randomizzazione). Questo test presuppone una distribuzione ipergeometrica come descritto nella risposta di Matthew Gunn. (Per il piccolo numero di persone coinvolte in questa lamentela, la distribuzione ipergeometrica non è ben approssimata da una distribuzione normale.)$\chi^2$

2. Hanno convertito il suo valore p in un normale punteggio Z ("numero di deviazioni standard").

3. Hanno arrotondato il punteggio Z al numero intero più vicino: "supera tre deviazioni standard", "supera cinque deviazioni standard" e "supera sei deviazioni standard". (Poiché alcuni di questi Z-score arrotondato il fino a deviazioni più standard, non riesco a giustificare la "superiore"; tutto quello che posso fare è di citarlo.)

4. Nel reclamo questi punteggi Z integrali sono stati riconvertiti in valori p! Anche in questo caso è stata utilizzata la distribuzione normale standard.

5. Questi valori p sono descritti (probabilmente in modo fuorviante) come "la probabilità che questo risultato si sia verificato per caso".

$1/1280$$1/565000$$1/58000000$$730$$1160$$130$$730$$1160$$130$$-3.16$$-4.64$$-5.52$$1/741$$1/3500000$$1/1000000000$

---

Ecco un Rcodice utilizzato per eseguire questi calcoli.

f <- function(total, percent.asian, hired.asian, hired.non.asian) {
  asian <- round(percent.asian/100 * total)
  non.asian <- total-asian
  x <- matrix(c(asian-hired.asian, non.asian-hired.non.asian, hired.asian, hired.non.asian),
              nrow = 2,
              dimnames=list(Race=c("Asian", "non-Asian"),
                            Status=c("Not hired", "Hired")))
  s <- fisher.test(x)
  s$p.value
}
1/pnorm(round(qnorm(f(730, 77, 1, 6))))
1/pnorm(round(qnorm(f(1160, 85, 11, 14))))
1/pnorm(round(qnorm(f(130, 73, 4, 17))))

Come calcolare correttamente i pvals usando la distribuzione ipergeometrica:

$k$$n$$K$$N$

Per un test unilaterale, in MATLAB, puoi chiamare pval = hygecdf(k, N, K, n);o in questo caso pval = hygecdf(1, 730, 562, 7)che è circa .0007839.

La deviazione media e standard sono date da:

$$\mu = n \frac{K}{N} \quad \quad \quad s = \sqrt{n \frac{K}{N} \frac{N - K}{N} \frac{N - n}{N-1}}$$

$\chi^2$

Alla ricerca di formule che OFCCP potrebbe utilizzare, questo sito che ho visto potrebbe forse essere utile: http://www.hr-software.net/EmploymentStatistics/DisparateImpact.htm

Riepilogo di alcuni calcoli:

$$\begin{array}{rrrr} \text{Number and method} & \text{Part A} & \text{Part B} & \text{Part C} \\ \text{PVal from hypergeometric CDF} & \text{7.839e-04} & \text{1.77e-06} & \text{1.72e-08}\\ \chi^2 \text{ stat} & 15.68 & 33.68 & 37.16\\ \chi^2 \text{ pval} & \text{7.49e-05} & \text{6.47e-09} & \text{1.09e-09} \\ \text{Pval from above document} & .00135 & \text{2.94e-07} & \text{1.00e-09} \end{array}$$

$\chi^2$$\sum \frac{(\text{expected} - \text{actual})^2}{\text{expected}}$