d prime con probabilità di hit rate del 100% e probabilità di falsi allarmi dello 0%


10

Vorrei calcolare d prime per un'attività di memoria che prevede il rilevamento di elementi vecchi e nuovi. Il problema che ho è che alcuni dei soggetti hanno un tasso di successo di 1 e / o un tasso di falso allarme di 0, il che rende le probabilità rispettivamente del 100% e dello 0%.

La formula per d prime è d' = z(H) - z(F), dove z(H)e z(F)sono le trasformazioni z di hit rate e falso allarme, rispettivamente.

Per calcolare la trasformazione z, utilizzo la funzione Excel NORMSINV (ovvero, z(H)=NORMSINV(hit rate)). Tuttavia, se la frequenza dei colpi o la frequenza dei falsi allarmi è rispettivamente 1 o 0, la funzione restituisce un errore. Questo perché z trasformazione, come ho capito, indica l'area sotto la curva ROC, che non consente matematicamente una probabilità del 100% o 0%. In questo caso, non sono sicuro di come calcolare d 'per i soggetti con prestazioni a soffitto.

Un sito web suggerisce di sostituire la frequenza 1 e 0 con 1 - 1 / (2N) e 1 / 2N con N che rappresenta il numero massimo di hit e falsi allarmi. Un altro sito web dice "né H né F possono essere 0 o 1 (in tal caso, regolare leggermente verso l'alto o verso il basso)". Sembra arbitrario. Qualcuno ha un'opinione su questo o vorrebbe indicarmi le giuste risorse?

Risposte:


13

Stanislaw e Todorov (1999) ne discutono bene sotto l'intestazione Hit and False-Alarm Rate of Zero or One .

Discutono i pro e i contro di diversi metodi per gestire questi valori estremi, tra cui:

  • Ad

  • Dati aggregati provenienti da più soggetti prima di calcolare la statistica (Macmillan & Kaplan, 1985)

  • aggiungere 0,5 sia al numero di colpi che al numero di falsi allarmi e aggiungere 1 sia al numero di prove del segnale sia al numero di prove del rumore; soprannominato l' approccio loglineare (Hautus, 1995)

  • 0.5/n(n0.5)/nn

Ad


MacMillan & Kaplan è un riferimento popolare ma credo che ci sia un autore greco o russo che li precede per lo stesso consiglio ... il nome è troppo lungo per me da ricordare. Il mio rapido sguardo a S&T è che non è molto completo, ma mi ricorda che probabilmente mi sbagliavo non menzionando A '. Naturalmente, una volta fatto ciò, devi spiegare cosa significa realmente passare a non parametrici.
John,

6

Entrambi i siti stanno suggerendo la stessa cosa, ma uno sta proponendo un modo per selezionare costantemente la quantità di aggiustamento. Questo è stato attribuito a un certo numero di persone, ma non credo che nessuno sappia chi lo ha inventato per primo. Campi diversi hanno un libro o autore seminale diverso sul rilevamento del segnale. L'importante è che il metodo selezionato sia ragionevole.

L'unico metodo che hai pubblicato di solito implica che se avessi un set di elementi (2N) molto più grande, saresti stato in grado di rilevare almeno un errore. Se questo è un modo ragionevole di pensare al problema, allora hai finito. Dubito che sia per un test di memoria. In futuro potresti voler aumentare N per assicurare che ciò accada molto meno. Tuttavia, il metodo è recuperabile se lo si considera in un modo diverso. Stai regolando su una media ipotetica di due esecuzioni dello stesso numero di elementi di memoria. In tal caso, stai dicendo che in un'altra fase dell'esperimento (supponendo nuovi elementi o hanno dimenticato tutti quelli vecchi) ci sarebbe stato un errore. O, più semplicemente, stai solo selezionando a metà tra il punteggio imperfetto più alto che puoi misurare e un punteggio perfetto.

Questo è un problema senza una semplice soluzione universale. La prima domanda che devi porre è se credi, nel tuo caso, di avere una vera classificazione perfetta. In tal caso i tuoi dati sono i tuoi dati. In caso contrario, ritieni che sia solo la variabilità nel campione a causare hit al 100%. Una volta concluso che è il caso, allora devi prendere in considerazione dei modi ragionevoli per generare una stima di ciò che credi debba essere. E quindi devi chiederti di cosa si tratta.

Il modo più semplice per determinare quale dovrebbe essere è guardare gli altri dati nelle stesse condizioni. Potresti forse stimare che l'accuratezza per questo partecipante sia a metà strada tra il prossimo miglior valore che hai e il 100% (che potrebbe rivelarsi esattamente lo stesso del valore che hai trovato). Oppure, potrebbe essere una quantità molto piccola maggiore. Oppure potrebbe essere uguale ai valori migliori. Devi selezionare quella che ritieni sia la migliore risposta in base ai tuoi dati. Una domanda più specifica pubblicata potrebbe aiutarti qui.

Dovresti cercare di assicurarti di fare il minor impatto possibile sul criterio. Nel tuo caso, un aggiustamento di colpi e FA farà sì che il criterio non cambi affatto. Tuttavia, se si regolano i risultati quando si dice, FA = 0,2, è necessario fare attenzione a come tale aggiustamento influirebbe sull'interpretazione del criterio. In questo caso sei obbligato ad assicurarti che i colpi siano molto alti.


Grazie per la tua prospettiva e motivazione, John. Questo aiuta davvero. Dovrei aggiungere che un numero crescente di N è una buona soluzione ma il nostro compito è svolto all'interno dello scanner fMRI e siamo limitati da quante prove possiamo fare i soggetti prima che si agitino e rovinino i nostri dati con movimento.
A.Rainer,

"Potresti forse stimare che l'accuratezza per questo partecipante sia a metà strada tra il prossimo miglior valore che hai e il 100% (che può rivelarsi esattamente lo stesso del valore che hai trovato)" è un buon consiglio. Ciò conserverà l'ordine della classifica delle prestazioni del soggetto.
A.Rainer,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.