Evitare la discriminazione sociale nella costruzione di modelli

Ho domande ispirate al recente scandalo sul reclutamento di Amazon, in cui sono state accusate di discriminazione nei confronti delle donne nel loro processo di reclutamento. Maggiori informazioni qui :

Gli specialisti dell'apprendimento automatico di Amazon.com Inc hanno scoperto un grosso problema: al loro nuovo motore di reclutamento non piacevano le donne.
La squadra era stata la costruzione di programmi informatici dal 2014 a rivedere i candidati di lavoro riprende con l'obiettivo di meccanizzare la ricerca di migliori talenti ...
... strumento di assunzione sperimentale dell'azienda usato l'intelligenza artificiale per dare posti di lavoro candidati punteggi che vanno da una a cinque stelle ...
... Ma entro il 2015, la società ha capito che il suo nuovo sistema non stava valutando i candidati per i lavori di sviluppo di software e altri posti tecnici in modo neutro rispetto al genere.
Questo perché i modelli di computer di Amazon sono stati addestrati per i veterinari osservando i modelli nei curriculum presentati alla società per un periodo di 10 anni. La maggior parte proveniva da uomini, un riflesso del dominio maschile nell'industria tecnologica. (Per un grafico sulle disaggregazioni di genere nella tecnologia, vedi: qui ) In effetti, il sistema di Amazon si è insegnato che i candidati maschi erano preferibili. Ha penalizzato i curriculum che includevano la parola "femminile", come in "capitano del club di scacchi femminile". E ha declassato i laureati di due college per sole donne, secondo le persone che hanno familiarità con la questione. Non hanno specificato i nomi delle scuole.
Amazon ha modificato i programmi per renderli neutri a questi termini particolari. Ma questa non era una garanzia che le macchine non avrebbero escogitato altri modi per selezionare i candidati che potevano rivelarsi discriminatori, ha detto la gente.
La società di Seattle alla fine ha sciolto il team all'inizio dello scorso anno perché i dirigenti hanno perso la speranza per il progetto ...
... L'esperimento della società ... offre un caso di studio sui limiti dell'apprendimento automatico.
... scienziati informatici come Nihar Shah, che insegna apprendimento automatico alla Carnegie Mellon University, affermano che c'è ancora molto lavoro da fare.
"Come garantire che l'algoritmo sia corretto, come assicurarsi che l'algoritmo sia davvero interpretabile e spiegabile - è ancora abbastanza lontano", ha detto.

MASCULINE LANGUAGE
[Amazon] ha costituito un team nel centro ingegneristico di Edimburgo di Amazon che è cresciuto fino a una dozzina di persone. Il loro obiettivo era sviluppare un'intelligenza artificiale in grado di eseguire rapidamente la scansione del Web e individuare candidati che meritassero di essere reclutati.
Il gruppo ha creato 500 modelli di computer focalizzati su funzioni e posizioni di lavoro specifiche. Hanno insegnato a ciascuno di riconoscere circa 50.000 termini che sono comparsi sui curriculum dei candidati passati. Gli algoritmi hanno imparato ad assegnare poca importanza alle competenze che erano comuni tra i candidati IT, come la capacità di scrivere vari codici informatici ...
Invece, la tecnologia favoriva i candidati che si descrivevano usando i verbi più comunemente trovati sui curriculum degli ingegneri maschi, come "eseguito" e "catturato", ha detto una persona.

Diciamo che voglio costruire un modello statistico per prevedere alcuni output dai dati personali, come una classifica a cinque stelle per aiutare a reclutare nuove persone. Diciamo che voglio anche evitare la discriminazione di genere, come un vincolo etico. Dati due profili strettamente uguali a parte il genere, l'output del modello dovrebbe essere lo stesso.

1. Dovrei usare il genere (o qualsiasi dato correlato ad esso) come input e provare a correggerne l'effetto, o evitare di usare questi dati?

2. Come posso verificare l'assenza di discriminazione contro il genere?

3. Come posso correggere il mio modello per dati statisticamente discriminanti ma che non voglio essere per motivi etici?

Questo documento fornisce un'eccellente panoramica di come orientare il pregiudizio di genere, specialmente nei modelli basati sul linguaggio: l' uomo è programmatore di computer come la donna è casalinga? Debiasing Word Embeddings - Bolukbasi et. al. . Un bel riassunto del blog può essere trovato qui:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Troverai un più grande compendio di risorse qui:

https://developers.google.com/machine-learning/fairness-overview/

Troverai una serie di tecniche nei link sopra per mitigare il pregiudizio di genere. In generale, rientrano in tre classi:

1) Sotto / Over campionamento dei dati. Questo ha lo scopo di sovrastampare curricula femminili di alta qualità e curricula maschili sotto campione.

2) Sottraendo il "sottospazio di genere". Se il tuo modello è distorto dal punto di vista del genere, allora potresti dimostrarlo utilizzando il tuo curriculum incorporati per prevedere direttamente il genere. Dopo aver creato un tale modello ausiliario (anche solo campionando termini comuni appartenenti a entrambi i sessi, e quindi applicando PCA), è in effetti possibile sottrarre questa dimensione dal modello, normalizzando il curriculum come neutro rispetto al genere. Questa è la tecnica principale utilizzata nel documento di Bolukbasi.

3) Apprendimento contraddittorio. In questo caso si tenta di generare dati aggiuntivi tentando di generare più versioni di curriculum femminili di alta qualità che altrimenti non sono distinguibili dai curriculum reali.

Questa non è una risposta alla tua domanda, ma solo alcuni pensieri che sono troppo lunghi per essere inseriti in un commento.

Penso che un problema che dobbiamo considerare quando pensiamo a questi problemi è che ogni modello discrimina e lo faranno sulla base di qualsiasi associazione presente nei dati. Questo è probabilmente l'intero scopo di un modello predittivo. Ad esempio, gli uomini hanno davvero maggiori probabilità di commettere un crimine rispetto alle donne, quindi quasi tutti i modelli che hanno accesso a queste informazioni trarranno una tale inferenza.

Ma ciò non significa che dovremmo condannare qualcuno parzialmente sulla base del genere, anche se un uomo sembrerà generalmente più propenso a commettere un crimine (altre cose uguali). Piuttosto dovremmo richiedere prove dirette di un crimine quando prendiamo tali decisioni, e non informazioni sulla mera associazione. Come altro esempio: le persone che hanno maggiori probabilità di ammalarsi meritano davvero di pagare premi assicurativi più elevati?

Quindi, quando si tratta di discriminazione, direi che il problema riguarda più l' applicazione etica , piuttosto che i modelli stessi che sono ingiusti. Se siamo preoccupati di perpetuare la discriminazione o altri risultati ingiusti quando si utilizza un modello in una determinata situazione, forse non dovremmo usare un modello.

Lavoravo su un progetto per sviluppare le migliori pratiche di gestione del software. Ho osservato circa cinquanta squadre di software sul campo. Il nostro campione era di circa 77, ma alla fine abbiamo visto un centinaio di squadre. Oltre a raccogliere dati su cose come certificazioni, lauree e così via, abbiamo anche raccolto una varietà di dati psicologici e demografici.

I team di sviluppo software hanno alcuni effetti di auto-selezione molto significativi che, pur non avendo nulla a che fare con il genere, sono fortemente correlati con il genere. Inoltre, i manager tendono a replicarsi. Le persone assumono persone con cui si sentono a proprio agio e che si sentono più a proprio agio con se stesse. Vi sono anche prove del fatto che le persone vengono valutate in modo cognitivo. Immagina che, come manager, apprezzo molto l'arrivo tempestivo all'inizio del lavoro. Poi valuterò su questo. Un altro manager, a cui importa solo che il lavoro venga svolto, può valutare qualcosa di completamente diverso come importante.

Hai notato che gli uomini usano la lingua in modo diverso, ma è anche vero che le persone con personalità diverse usano la lingua in modi diversi. Potrebbero esserci anche differenze nell'uso della lingua etnica, vedi ad esempio l'attuale controversia su Harvard e le ammissioni asiatiche.

Ora supponi che le aziende di software discriminino le donne, ma esiste un'altra forma di discriminazione di genere nel settore dello sviluppo del software che non hai tenuto conto. Quando controlli per cose oggettive come certificazioni, lauree, il possesso e così via, la donna media guadagna il 40% in più rispetto all'uomo medio. Esistono tre fonti di discriminazione sul lavoro nel mondo.

Il primo è che gestori o proprietari non desiderano assumere qualcuno sulla base di alcune funzionalità. Il secondo è che i colleghi non desiderano lavorare con le persone con quella caratteristica. Il terzo è che i clienti non vogliono persone con una funzionalità. Sembra che la discriminazione salariale sia innescata dai clienti perché il prodotto di lavoro è diverso e, dal punto di vista dei clienti, anche migliore. Questa stessa caratteristica fa sì che gli igienisti dentali maschi assumano una retribuzione inferiore rispetto alle donne. Si vede anche in una propensione al "nato qui" nei salari mondiali di calcio.

Il miglior controllo per questo è capire i tuoi dati e le forze sociali coinvolte. Qualsiasi azienda che utilizza i propri dati tenderà a replicarsi. Potrebbe essere un'ottima cosa, ma potrebbe anche renderli ciechi alle forze di lavoro. Il secondo controllo è capire la tua funzione oggettiva. I profitti possono essere una buona funzione, ma può essere una cattiva funzione. Ci sono valori in gioco nella selezione di una funzione di perdita oggettiva. Quindi, infine, c'è il problema di testare i dati in base ai dati demografici per determinare se si sta verificando una sfortunata discriminazione.

Infine, e questo è un problema più grande in cose come l'intelligenza artificiale in cui non puoi ottenere buone statistiche interpretative, vorrai controllare il paradosso di Yule. Il classico esempio storico è la scoperta che il 44% degli uomini è stato accettato dall'UC Berkley mentre solo il 35% delle donne è stato ammesso nel 1973. Questa era una differenza enorme e statisticamente significativa. Era anche fuorviante.

Questo era ovviamente scandaloso, e così l'università decise di esaminare quali fossero le major offensive. Bene, si è scoperto che quando hai controllato per maggiore, c'era un pregiudizio statisticamente significativo a favore dell'ammissione delle donne. Degli ottantacinque maggiori, sei erano di parte per le donne e quattro per gli uomini, il resto non era significativo. La differenza era che le donne chiedevano, in modo sproporzionato, le major più competitive e così pochi di entrambi i sessi stavano entrando. Gli uomini avevano maggiori probabilità di rivolgersi a major meno competitive.

L'aggiunta del paradosso di Yule crea uno strato ancora più profondo di discriminazione. Immagina, invece di un test di genere, c'è stato un test di genere per tipo di lavoro. Potresti eventualmente superare un test di genere neutrale a livello aziendale ma fallire a livello di attività. Immagina che solo le donne siano state assunte per V&V e solo uomini per l'amministrazione dei sistemi. Sembreresti neutro dal punto di vista del genere e non lo saresti.

Una potenziale soluzione a questo è quella di eseguire IA competitivi che utilizzano diversi criteri oggettivi di "bontà". L'obiettivo è ampliare la rete, non restringerla. Questo può anche aiutare a evitare un altro problema nella letteratura sulla gestione. Mentre il 3% dei maschi è sociopatico, quel numero sale considerevolmente man mano che avanzi e sali la scala aziendale. Non vuoi filtrare i sociopatici.

Infine, potresti non voler considerare l'utilizzo dell'IA per determinati tipi di posizioni. Sto cercando lavoro adesso. Sono anche sicuro di essere stato filtrato e non ho capito come aggirarlo. Sono seduto su una nuova tecnologia molto dirompente. Il problema è che il mio lavoro non corrisponde alle parole magiche. Invece, ho la prossima serie di parole magiche. In questo momento, valgo una fortuna per l'azienda giusta, ma in un caso in cui ho fatto domanda, ho ricevuto un declino automatico in meno di un minuto. Ho un amico che è stato CIO delle agenzie federali. Ha fatto domanda per un lavoro in cui il responsabile delle assunzioni era in attesa di vedere la sua candidatura in modo che potesse praticamente offrirgli il lavoro. Non è mai arrivato perché i filtri lo hanno bloccato.

Questo pone il secondo problema dell'IA. Se riesco a capire dai curriculum online che Amazon sta assumendo, allora posso magicamente esprimere il mio curriculum. In effetti, sto lavorando al mio curriculum in questo momento per adattarlo ai filtri non umani. Posso anche dire dalle e-mail dei reclutatori che alcune parti del mio curriculum vengono ingrandite e altre parti ignorate. È come se il processo di reclutamento e assunzione fosse stato preso in carico da software come Prolog. Vincoli logici soddisfatti? Sì! Questo è il candidato o l'insieme di candidati ottimali. Sono ottimali?

Non esiste una risposta predefinita alla tua domanda, ma solo problemi da progettare.

Al fine di costruire un modello di questo tipo, è importante prima comprendere alcuni aspetti statistici di base della discriminazione e dei risultati del processo. Ciò richiede la comprensione dei processi statistici che valutano gli oggetti sulla base delle caratteristiche. In particolare, richiede la comprensione della relazione tra l'uso di una caratteristica a fini decisionali (ovvero la discriminazione) e la valutazione dei risultati del processo rispetto a detta caratteristica. Iniziamo osservando quanto segue:

• La discriminazione (nel suo senso proprio) si verifica quando una variabile viene utilizzata nel processo decisionale, non semplicemente quando il risultato è correlato a quella variabile. Formalmente, discriminiamo rispetto a una variabile se la funzione decisionale nel processo (cioè il rating in questo caso) è una funzione di quella variabile.

• Le disparità nei risultati rispetto a una particolare variabile spesso si verificano anche quando non vi è alcuna discriminazione su quella variabile . Ciò si verifica quando altre caratteristiche nella funzione decisionale sono correlate alla variabile esclusa. Nei casi in cui la variabile esclusa è una variabile demografica (ad es. Sesso, razza, età, ecc.) La correlazione con altre caratteristiche è onnipresente, quindi ci si devono aspettare disparità nei risultati tra i gruppi demografici.

• È possibile provare a ridurre le disparità nei risultati tra i gruppi demografici attraverso un'azione affermativa, che è una forma di discriminazione. Se ci sono disparità nei risultati del processo rispetto a una variabile, è possibile ridurre tali disparità usando la variabile come variabile di decisione (ovvero discriminando quella variabile) in modo da favorire gruppi "sottorappresentati" (vale a dire, gruppi con proporzioni inferiori di risultati positivi nel processo decisionale).

• Non puoi averlo in entrambi i modi --- o vuoi evitare la discriminazione rispetto a una caratteristica particolare o vuoi eguagliare i risultati del processo rispetto a quella caratteristica. Se il tuo obiettivo è quello di "correggere" le disparità nei risultati rispetto a una caratteristica particolare, allora non illuderti di ciò che stai facendo --- ti stai impegnando in una discriminazione ai fini dell'azione affermativa .

Una volta compresi questi aspetti di base dei processi decisionali statistici, sarai in grado di formulare il tuo obiettivo reale in questo caso. In particolare, dovrai decidere se desideri un processo non discriminatorio, che può comportare disparità di risultati tra i gruppi o se desideri un processo discriminatorio progettato per produrre risultati di processo uguali (o qualcosa di simile a questo). Eticamente, questo problema imita il dibattito sulla non discriminazione rispetto all'azione affermativa.

Diciamo che voglio costruire un modello statistico per prevedere alcuni output dai dati personali, come una classifica a cinque stelle per aiutare a reclutare nuove persone. Diciamo che voglio anche evitare la discriminazione di genere, come un vincolo etico. Dati due profili strettamente uguali a parte il genere, l'output del modello dovrebbe essere lo stesso.

È facile garantire che le valutazioni fornite dal modello non siano influenzate da una variabile che si desidera escludere (ad esempio, genere). Per fare ciò, tutto ciò che devi fare è rimuovere questa variabile come predittore nel modello, in modo che non venga utilizzato nella decisione di rating. Ciò assicurerà che due profili strettamente uguali, a parte quella variabile, siano trattati allo stesso modo. Tuttavia, non garantirà necessariamente che il modello non discrimini sulla base di un'altra variabile correlata con la variabile esclusa, e generalmente non porterà a risultati uguali tra i sessi. Questo perché il genere è correlato con molte altre caratteristiche che potrebbero essere utilizzate come variabili predittive nel tuo modello, quindi generalmente ci aspettiamo che i risultati siano ineguali anche in assenza di discriminazione.

Per quanto riguarda questo problema, è utile delimitare tra le caratteristiche che sono caratteristiche di genere intrinseche (ad esempio, i pipi in piedi) rispetto a caratteristiche che sono semplicemente correlate al genere (ad esempio, ha una laurea in ingegneria). Se si desidera evitare la discriminazione di genere, ciò implicherebbe in genere la rimozione del genere come predittore e la rimozione di qualsiasi altra caratteristica che si considera una caratteristica di genere intrinseca . Ad esempio, se per caso i candidati a un lavoro specificano se fanno pipì in piedi o seduti, allora questa è una caratteristica che non è strettamente equivalente al genere, ma un'opzione determina efficacemente il genere, quindi probabilmente rimuoveresti quella caratteristica come predittore nel modello.

1. Dovrei usare il genere (o qualsiasi dato correlato ad esso) come input e provare a correggerne l'effetto, o evitare di usare questi dati?

Cosa esattamente? Quando dici "correggi il loro effetto", suppongo che intendi che stai prendendo in considerazione la "correzione" delle disparità nei risultati causati da predittori correlati al genere. Se questo è il caso, e usi il genere per cercare di correggere una disparità di risultati, allora stai effettivamente impegnando in un'azione affermativa --- cioè, stai programmando il tuo modello per discriminare positivamente sul genere, al fine di avvicinare i risultati . Se vuoi farlo dipende dal tuo obiettivo etico nel modello (evitare la discriminazione e ottenere risultati uguali).

2. Come posso verificare l'assenza di discriminazione contro il genere?

Se stai parlando di discriminazione effettiva, al contrario di semplici disparità di risultato, è facile vincolarla e verificarla. Tutto quello che devi fare è formulare il tuo modello in modo tale da non utilizzare il genere (e le caratteristiche di genere intrinseche) come predittori. I computer non possono prendere decisioni sulla base di caratteristiche che non si inseriscono nel loro modello, quindi se si ha il controllo su questo dovrebbe essere abbastanza semplice controllare l'assenza di discriminazione.

Le cose diventano un po 'più difficili quando usi modelli di apprendimento automatico che provano a capire da soli le caratteristiche rilevanti, senza il tuo contributo. Anche in questo caso, dovrebbe essere possibile programmare il modello in modo da escludere i predittori che si specifica di rimuovere (ad esempio, genere).

3. Come posso correggere il mio modello per dati statisticamente discriminanti ma che non voglio essere per motivi etici?

Quando fai riferimento a dati "statisticamente discriminanti", suppongo che intendi solo caratteristiche correlate al genere. Se non si desidera queste altre caratteristiche lì, è sufficiente rimuoverle come predittori nel modello. Tuttavia, dovresti tenere presente che è probabile che molte caratteristiche importanti siano correlate al genere. Qualsiasi caratteristica binaria sarà correlata al genere in ogni caso quando la proporzione di maschi con quella caratteristica è diversa dalla proporzione di femmine con quella caratteristica. (Naturalmente, se quelle proporzioni sono vicine potresti scoprire che le loro differenze non sono "statisticamente significative".) Per le variabili più generali, anche la condizione per una correlazione diversa da zero è molto debole. Così,

Questa al massimo sarà una risposta parziale (o nessuna risposta).

La prima cosa da notare è che sono completamente d'accordo con @dsaxton: tutti i modelli "discriminano" (almeno in alcune definizioni di discriminazione) in quanto questa è la loro funzione. Il problema è che i modelli funzionano su riepiloghi e medie e assegnano le cose in base alle medie. I singoli individui sono unici e potrebbero essere completamente fuori dalla previsione.

Esempio: si consideri un modello semplice che prevede la menzionata classifica a cinque stelle in base a un'età variabile . Per tutte le persone della stessa età (diciamo 30) produrrà la stessa produzione. Tuttavia, questa è una generalizzazione. Non tutte le persone di 30 anni saranno uguali. E se il modello produce gradi diversi per età diverse, sta già discriminando le persone per la loro età. Supponiamo che dia un punteggio di 3 a 50 anni e un punteggio di 4 a 40 anni. In realtà ci saranno molte persone di 50 anni che sono meglio in quello che fanno di 40 anni. E saranno discriminati.

1. Dovrei usare il genere (o qualsiasi dato correlato ad esso) come input e provare a correggerne l'effetto, o evitare di usare questi dati?

Se si desidera che il modello restituisca lo stesso risultato per uomini e donne altrimenti uguali, non è necessario includere il genere nel modello. Eventuali dati correlati al genere dovrebbero probabilmente essere inclusi. Escludendo tali covariate si possono commettere almeno 2 tipi di errori: 1) assumendo che tutti gli uomini e le donne siano equamente distribuiti tra tutte le covariate; 2) se alcune di queste covariate correlate al genere sono entrambe rilevanti ai fini della classificazione e allo stesso tempo correlate al genere, è possibile ridurre notevolmente le prestazioni del modello escludendole.

2. Come posso verificare l'assenza di discriminazione contro il genere?

Esegui il modello esattamente sugli stessi dati due volte - una volta usando "maschio" e un'altra volta usando "femmina". Se questo proviene da un documento di testo, forse alcune parole potrebbero essere sostituite.

3. Come posso correggere il mio modello per dati statisticamente discriminanti ma che non voglio essere per motivi etici?

Dipende da cosa vuoi fare. Un modo brutale per forzare l'uguaglianza tra i sessi è quello di applicare il modello su candidati uomini e donne candidati separatamente. Quindi scegli il 50% da un gruppo e il 50% da un altro gruppo.

Molto probabilmente la tua previsione ne risentirà, poiché è improbabile che la migliore serie di candidati includa esattamente metà uomini e metà donne. Ma probabilmente staresti bene eticamente? - di nuovo questo dipende dall'etica. Ho potuto vedere una dichiarazione etica in cui questo tipo di pratica sarebbe illegale in quanto discriminerebbe anche in base al genere, ma in un altro modo.

Ciò che la storia di Amazon mostra è che è molto difficile evitare il pregiudizio. Dubito che Amazon abbia assunto persone stupide per questo problema, o che mancassero delle competenze, o che non avessero abbastanza dati, o che non avessero abbastanza crediti AWS per formare un modello migliore. Il problema era che i complicati algoritmi di machine learning sono molto bravi nell'apprendimento dei modelli nei dati, il pregiudizio di genere è esattamente quel tipo di modello. C'era parzialità nei dati, poiché i reclutatori (consapevolmente o meno) preferivano i candidati maschi. Non sto dicendo qui che Amazon è una società che discrimina i candidati al lavoro, sono sicuro che hanno migliaia di politiche antidiscriminatorie e assumono anche reclutatori abbastanza bravi. Il problema con questo tipo di pregiudizi e pregiudizi è che esiste, non importa quanto tu cerchi di combatterlo. Ci sono tonnellate di esperimenti di psicologia che mostrano che le persone possono dichiarare di non essere di parte (ad esempio razzista), ma ancora compiere azioni di parte, senza nemmeno rendersene conto. Ma rispondendo alla tua domanda, per avere un algoritmo non distorto, dovresti iniziare con dati privi di questo tipo di pregiudizio. Gli algoritmi di apprendimento automatico imparano a riconoscere e ripetere i modelli che vedono nei dati, quindi se i tuoi dati registrano decisioni distorte, è probabile che l'algoritmo apprenda e amplifichi tali pregiudizi.

La seconda cosa è gestire i dati. Se si desidera vietare al proprio algoritmo di apprendere a prendere decisioni distorte, è necessario rimuovere tutte le informazioni utili per discriminare i gruppi di interesse (sesso qui). Ciò non significa rimuovere solo le informazioni sul genere, ma anche tutte le informazioni che potrebbero portare all'identificazione del genere, e questo potrebbe essere un sacco di cose. Ci sono quelli ovvi come nome e foto, ma anche quelli indiretti, come ad esempio il congedo materno in curriculum, ma anche l'istruzione (e se qualcuno andasse a scuola per sole ragazze?), O addirittura la storia del lavoro (diciamo che i reclutatori nella tua azienda non sono di parte) , ma cosa succede se ogni altro reclutatore prima era di parte, quindi la storia del lavoro riflette tutte quelle decisioni di parte?), ecc. Come puoi vedere,

Per quanto riguarda le domande 2. e 3., non ci sono risposte facili e non mi sento abbastanza competente per provare a rispondere in dettaglio. Ci sono tonnellate di letteratura sui pregiudizi e sui pregiudizi nella società e sui pregiudizi algoritmici. Questo è sempre complicato e, sfortunatamente, non esistono ricette semplici per questo. Le aziende, come Google, assumono esperti il ​​cui ruolo è identificare e prevenire questo tipo di errore negli algoritmi.

1. Dovrei usare il genere (o qualsiasi dato correlato ad esso) come input e provare a correggerne l'effetto, o evitare di usare questi dati?

Ci sono diverse implicazioni di questa domanda che si riducono a quanto segue: Voglio essere un ingegnere sociale; un attivista il cui ruolo è quello di cambiare lo status quo perché ho deciso che la società è malata e richiede terapia?La risposta ovvia a questo dipende dal fatto che un tale cambiamento sia benefico o dannoso. Ad esempio, la risposta a "Cosa guadagneremmo dalla parità di genere per il personale infermieristico?" potrebbe essere che avere a disposizione almeno un infermiere maschio per l'inserimento di cateteri urinari nei maschi non richiederebbe che il 50% degli infermieri siano maschi. Pertanto, l'approccio del social engineering esamina diverse culture, contesti e problemi con pregiudizi di genere noti e presenta vantaggi funzionali che possono derivare dalle alterazioni delle cause alla radice di tale pregiudizio. Questo è un passo essenziale nel processo decisionale. Ora, la risposta alla domanda 1. è un clamoroso no, cioè, una volta che uno ha deciso che la società ha bisogno di essere riparata, si aggiunge semplicemente una stella, o una frazione di essa (vedi sotto), ai candidati femminili, ma stai molto attento a ciò che desideri perché si tratta di un'azione affermativa, che è intrinsecamente discriminatoria. Eventuali risultati dell'IA cambieranno per riflettere le nuove norme di assunzione, una volta che queste saranno stabilite come una nuova norma funzionale.

2. Come posso verificare l'assenza di discriminazione contro il genere?

Abbastanza semplice, dopo aver assegnato le valutazioni, si fa un'analisi post hoc per vedere quale sia la distribuzione delle valutazioni per maschi e femmine e confrontarli.

3. Come posso correggere il mio modello per dati statisticamente discriminanti ma che non voglio essere per motivi etici?

Questo è inevitabilmente fatto dopo il fatto, cioè post hoc . È necessaria anche la premeditazione, ma il tipo di premeditazione più necessario è un tentativo concertato di esaminare criticamente le ipotesi dell'ingegnere sociale. Cioè, supponendo (per ragioni di argomento, vedi sotto) che sia sociologicamente giustificabile eliminare ogni pregiudizio di genere, si aggiusta semplicemente le classificazioni femminili per seguire la stessa distribuzione empirica dei maschi. Nel settore dell'insegnamento questo sarebbe chiamato classificazione su una curva. Supponiamo inoltre che potrebbe non essere desiderabile fare una completa eliminazione del pregiudizio di genere (potrebbe essere troppo dirompente per farlo), quindi si può fare una parziale eliminazione del pregiudizio, ad esempio una media ponderata in coppia di ciascuna femmina nativa valutazione e la sua valutazione completamente corretta, con qualunque peso si desideri assegnare che è ritenuto (o testato come) meno dannoso e / o più vantaggioso.

La disparità di genere non può essere modificata correttamente assumendo politiche da sole poiché in alcuni settori vi è una relativa scarsità di donne candidate. Ad esempio, in Polonia, il 14,3% degli studenti IT era di sesso femminile nel 2018 e in Australia il 17% . Una volta assunta, la fidelizzazione delle donne nelle industrie ad alta intensità di tecnologia era problematica (le donne nei ruoli aziendali nelle industrie ad alta intensità di tecnologia partono per altre industrie ad alti tassi — il 53% delle donne, rispetto al 31% degli uomini.) Pertanto, la soddisfazione lavorativa delle donne può essere più importante della politica di assunzione da solo. Innanzitutto è necessario identificare un beneficio tangibile per avere una particolare percentuale di donne sul posto di lavoro, e ci sono alcuni suggerimenti a riguardo, ad esempio nel 2016, le donne nei consigli di amministrazione (16%) avevano quasi il doppio delle probabilità rispetto alle loro controparti maschili (9%) di avere esperienza tecnologica professionale tra le 518 società Forbes Global 2000. Pertanto, la tecnologia avanzata sembra contribuire maggiormente al patrimonio netto femminile rispetto a quello maschile. Da questa discussione, dovrebbe essere ovvio che prima di fare ipotesi specifiche di genere, uno sforzo sostanziale dovrebbe essere diretto verso l'identificazione di benefici concreti più globali di politiche specifiche di cui la politica di assunzione è solo una piccola parte, sebbene importante, e probabilmente non la più importante punto di partenza. Quest'ultimo è plausibilmente il mantenimento delle assunzioni perché il turnover è negativo per la morale e può essere la causa principale della distorsione di genere nelle assunzioni.

La mia esperienza di gestione mi ha insegnato che anche piccoli cambiamenti nell'output di lavoro (ad es. 10-20%) sono abbastanza efficaci nell'eliminare infine le liste di attesa, cioè non è necessario aumentare immediatamente l'output del 100% raddoppiando il numero di dipendenti come effetto di ciò accorcerà la lista d'attesa solo leggermente più velocemente di una modifica più piccola, ma sarà quindi dirompente in quanto il personale si fermerà in seguito sperando che il lavoro entri nella porta. Cioè, se si decide di fare ingegneria sociale, può essere dannoso tentare una correzione completa; non funziona in questo modo. Provalo con una brusca correzione di rotta in una barca a vela, e potresti finire con l'esercizio delle lezioni di nuoto. L'equivalente per il trattamento del pregiudizio di genere (se la prescrizione si adatta), sarebbe assumere solo le femmine. Ciò risolverebbe il problema (e ne creerebbe altri). Così,

In sintesi, l'ingegneria sociale efficace richiede un approccio olistico a situazioni complicate, e il solo fatto di identificare che potrebbe esserci un problema non ci dice che ce n'è uno, non ci dice che cosa lo causa, non ci dice come correggerlo e anzi tutto ciò che ci dice è che dobbiamo indossare i nostri cappellini pensanti.