Esistono ricerche formali sull'efficacia della domanda FizzBuzz? [chiuso]

Dopo aver visto questa domanda oggi sulla variazione della domanda dell'intervista FizzBuzz, oltre a vedere altre domande ad essa correlate, devo chiedermi: c'è qualche ricerca formale su quanto sia efficace questa tecnica di intervista? Ci sono molte persone che affermano che filtra una percentuale pazza di candidati (95% + in alcuni casi) ma quanto è buono per trovare buoni programmatori / sviluppatori?

Ci sono state alcune ricerche che dimostrano che le competenze trasversali potrebbero essere indicatori migliori delle competenze concrete per scegliere un buon candidato per un ruolo professionale. Inoltre, potrebbero esserci alcuni motivi intermedi per il fatto che molti candidati non superano questo test (nervosismo, pensiero "è un trucco", ecc.).

Sulla base dei commenti finora, sembra che l'idea alla base delle domande di FizzBuzz sia determinare se la persona abbia o meno buone capacità di programmazione (sufficienti) per essere ulteriormente considerate. Non sono del tutto convinto che FizzBuzz lo faccia davvero. Inoltre, ricorda che FizzBuzz filtra una percentuale molto elevata di candidati molto presto nel processo di assunzione, il che potrebbe significare che un numero significativo di buoni candidati viene rimosso presto perché non sono in grado di risolvere abbastanza velocemente problemi stupidi.

Inoltre, sottolineo che guardare l'efficacia di FizzBuzz è qualcosa che può essere fatto completamente in modo quantitativo. Questo è diverso dal guardare "in forma" o "passione" che sono altamente variabili e altamente poco scientifiche (ma ancora abbastanza importanti per le nuove decisioni di assunzione).

È passato molto tempo da quando ho letto le ricerche sui colloqui di lavoro, (quindi non posso specificare i dettagli del sito, per i quali mi scuso), ma la regola generale è che le persone assumono sulla base di competenze trasversali, ma non esiste alcuna correlazione tra questo e prestazione. I test per competenze specifiche possono funzionare, per la personalità no (secondo dati misurabili).

Quasi tutti credono che le loro tecniche speciali di intervista funzionino, i dati dicono che probabilmente non dovresti disturbare l'intervista (la parte "raccontami di te" dell'intervista, al contrario di test oggettivi) poiché i candidati selezionati dagli intervistatori non sono migliori ma gli intervistatori lo mostrano inclinazione verso gli estroversi, persone demograficamente simili all'intervistatore, persone alte, persone attraenti, ecc. (Probabilmente dovresti assumere persone che fanno bene nei test e cattive nel resto dell'intervista, dal momento che apparentemente sono altrettanto brave sul lavoro ma potrebbe essere più difficile lasciare la tua azienda).

Mi aspetto in qualche modo di essere infiammato per questo, di solito chiunque dico questo dice "ma usiamo il metodo X e funziona davvero per noi", ma a meno che tu

1. assumere alcune persone che non superano il processo del colloquio,

2. non dire ai loro colleghi chi è passato e chi no, e

3. confrontare le prestazioni di coloro che sono passati con quelli che non lo hanno fatto, utilizzando criteri oggettivi concordati in precedenza

hai davvero poca idea se il tuo processo funziona. Purtroppo l'efficacia dell'intervista è intrinsecamente difficile da valutare.

Se ti stai chiedendo, esperimenti fanno cose come chiedere alle persone di valutare i candidati in base alle trascrizioni dei colloqui, da candidati che sono già stati assunti (tra molte altre tecniche). Idealmente, gli sperimentatori dovrebbero fare in modo che le persone intervistino, scelgano i candidati, cancellino la memoria dell'intervistatore, selezionino casualmente chi assumere tra i candidati e confrontino le prestazioni dei candidati utilizzando criteri precisi e oggettivi rispetto ai voti forniti dagli intervistatori, ma quell'esperimento è difficile da staccare.

Quindi, anche se non ho visto ricerche specifiche su FizzBuzz, è il tipo di cosa che può mostrare efficacia nei test scientifici. Se elimina il 95% dei candidati, sarei curioso di sapere perché - è stato inventato per essere così assurdamente facile che solo un programmatore incompetente potrebbe non riuscire a passarlo, ed è difficile vedere come stupire FizzBuzz. Mi chiedo quale percentuale superi il test "Hello world"? Il test "fai fare al computer qualcosa, qualcosa"?

Lo scopo di fizzbuzz non è trovare buoni programmatori, è trovare una certa classe di programmatori cattivi, ovvero persone che non possono implementare un semplice algoritmo. La tua domanda è un po 'come chiedere quanti campioni Nascar sono stati identificati durante gli esami di patente. C'è molta via di mezzo tra qualcuno che sicuramente non vuoi assumere e qualcuno che sicuramente fai.

Esistono altre classi di programmatori "cattivi" che richiedono diversi metodi di identificazione, come quelli che non sono competenti in una determinata lingua o hanno problemi comportamentali. Tuttavia, i programmatori "fizzbuzz-bad" sono quasi universalmente indesiderati, motivo per cui il test è così frequentemente raccomandato. Se un programmatore che è eccessivamente territoriale o che ha bisogno di trasferire le competenze in una nuova lingua è "buono" o "cattivo" dipende molto di più dalle esigenze e dalle preferenze del singolo datore di lavoro.

FizzBuzz non si tratta di identificare buoni programmatori, si tratta di eliminare quelli cattivi / falsi. Se un candidato non può superare il test FizzBuzz, non sa come programmare e non dovrebbe candidarsi per una posizione di programmazione.