È valido analizzare i dati di rilevamento del segnale senza utilizzare metriche derivate dalla teoria del rilevamento del segnale?

Un esperimento di rilevazione del segnale in genere presenta all'osservatore (o al sistema diagnostico) un segnale o un non segnale e all'osservatore viene chiesto di segnalare se pensano che l'elemento presentato sia un segnale o un non segnale. Tali esperimenti forniscono dati che riempiono una matrice 2x2:

La teoria del rilevamento del segnale rappresenta tali dati che rappresentano uno scenario in cui la decisione "segnale / non segnale" si basa su un continuum di segnale su cui gli studi di segnale hanno generalmente un valore più elevato rispetto agli studi di non segnale e l'osservatore semplicemente sceglie un valore di criterio al di sopra del quale riporteranno "segnale":

Nel diagramma sopra, le distribuzioni verde e rossa rappresentano rispettivamente le distribuzioni "segnale" e "non-segnale" e la linea grigia rappresenta il criterio scelto da un determinato osservatore. A destra della linea grigia, l'area sotto la curva verde rappresenta i colpi e l'area sotto la curva rossa rappresenta i falsi allarmi; a sinistra della linea grigia, l'area sotto la curva verde rappresenta i punti mancanti e l'area sotto la curva rossa rappresenta i rifiuti corretti.

Come si può immaginare, secondo questo modello, la percentuale di risposte che cadono in ciascuna cella della tabella 2x2 sopra è determinata da:

1. La proporzione relativa delle prove campionate dalle distribuzioni verde e rossa (tasso base)
2. Il criterio scelto dall'osservatore
3. La separazione tra le distribuzioni
4. La varianza di ogni distribuzione
5. Qualsiasi deviazione dall'uguaglianza di varianza tra le distribuzioni (l'uguaglianza di varianza è illustrata sopra)
6. La forma di ogni distribuzione (entrambe sono gaussiane sopra)

Spesso l'influenza di # 5 e # 6 può essere valutata solo inducendo l'osservatore a prendere decisioni attraverso una serie di diversi livelli di criteri, quindi per ora lo ignoreremo. Inoltre, # 3 e # 4 hanno senso solo l'uno rispetto all'altro (ad es. Quanto è grande la separazione rispetto alla variabilità delle distribuzioni?), Riassunta da una misura di "discriminabilità" (nota anche come d '). Pertanto, la teoria del rilevamento del segnale proibisce la stima di due proprietà dai dati di rilevamento del segnale: criterio e discriminazione.

Tuttavia, ho notato spesso che i rapporti di ricerca (in particolare dal campo medico) non riescono ad applicare il framework di rilevazione del segnale e tentano invece di analizzare quantità come "Valore predittivo positivo", "Valore predittivo negativo", "Sensibilità" e "Specificità ", che rappresentano tutti valori marginali diversi dalla tabella 2x2 sopra ( vedi qui per l'elaborazione ).

Quale utilità forniscono queste proprietà marginali? La mia inclinazione è di ignorarli completamente perché confondono le influenze teoricamente indipendenti del criterio e della discriminazione, ma forse mi manca semplicemente l'immaginazione per considerare i loro benefici.

L'influenza predittiva positiva (PPV) non è una buona misura, non solo perché confonde entrambi i meccanismi (discriminabilità e distorsione della risposta), ma anche a causa dei tassi di base degli articoli. È preferibile utilizzare le probabilità posteriori, come P (segnale | "sì"), che tengono conto delle tariffe di base dell'articolo:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

ma ... a cosa serve ?? bene, è utile per regolare i criteri di risposta al fine di massimizzare / minimizzare la probabilità di un risultato specifico. Pertanto, è complementare alle misure di distorsione della sensibilità e della risposta, nel senso che aiuta a sintetizzare i risultati dei cambiamenti nella distorsione della risposta.

Un consiglio: se stai usando una matrice di risultati 2x2 che in pratica ti consente solo di ottenere una misura di sensibilità come d ', non preoccuparti nemmeno di SDT e usa solo Hits-False Alarms. Entrambe le misure (d 'e (HF)) hanno una correlazione di .96 (indipendentemente da ciò che i teorici della rilevazione BS potrebbero escogitare)

spero che questo aiuti allegria

Stai confrontando "Qual è la probabilità che un risultato positivo del test sia corretto alla luce di una prevalenza nota e di un criterio di prova?" con "Qual è la sensibilità e la propensione di un sistema sconosciuto a vari segnali di questo tipo?"

Mi sembra che entrambi utilizzino una teoria simile ma hanno davvero scopi molto diversi. Con i test medici il criterio è irrilevante. Può essere impostato su un valore noto in molti casi. Quindi, determinare il criterio del test è inutile in seguito. La teoria del rilevamento del segnale è la migliore per i sistemi in cui il criterio è sconosciuto. Inoltre, la prevalenza, o segnale, tende ad essere un valore fisso (e spesso molto piccolo). Con SDT spesso si risolve un significato medio su segnali variabili modellando una situazione molto complessa come alcuni semplici descrittori. Quando sia il criterio che il segnale sono fissi in quantità note, SDT può dirti qualcosa di interessante? Sembra un sacco di sofisticazione matematica per affrontare un problema fondamentalmente più semplice.

Questa potrebbe essere una semplificazione eccessiva, ma la specificità e la sensibilità sono misure di prestazione e vengono utilizzate quando non c'è alcuna conoscenza obiettiva della natura del segnale. Voglio dire che il diagramma densità / segnalosità assume una variabile che quantifica la segnalabilità. Per dati di dimensione molto elevata, o di dimensione infinita, e senza una teoria rigorosa e dimostrabile del meccanismo di generazione del segnale, la selezione della variabile non è banale. Si pone quindi la domanda: perché, dopo aver selezionato una tale variabile, le sue proprietà statistiche, come la media e la varianza per il segnale e il non segnale, non siano quantificate. In molti casi, la variabile potrebbe non essere solo normale, Poisson o distribuita esponenzialmente. Può anche essere non parametrico, nel qual caso la quantificazione della separazione come differenza media rispetto alla varianza ecc., non ha molto senso. Inoltre, molta letteratura nel campo biomedico è focalizzata sulle applicazioni e ROC, sensibilità alla specificità ecc., Possono essere usati come criteri oggettivi per confrontare gli approcci in termini di natura limitata del problema, e fondamentalmente questo è tutto ciò è obbligatorio. A volte le persone potrebbero non essere interessate a descrivere, ad esempio, la distribuzione log-gamma della versione discreta effettiva del rapporto tra abbondanza trascrizionale gene1 vs gene2 in soggetti malati vs controllo, piuttosto l'unica cosa importante è se questo è elevato e quanta varianza del fenotipo o probabilità di malattia, spiega. può essere usato come criterio oggettivo per confrontare gli approcci in termini di natura limitata del problema, e fondamentalmente questo è tutto ciò che è richiesto. A volte le persone potrebbero non essere interessate a descrivere, ad esempio, la distribuzione log-gamma della versione discreta effettiva del rapporto tra abbondanza trascrizionale gene1 vs gene2 in soggetti malati vs controllo, piuttosto l'unica cosa importante è se questo è elevato e quanta varianza del fenotipo o probabilità di malattia, spiega. può essere usato come criterio oggettivo per confrontare gli approcci in termini di natura limitata del problema, e fondamentalmente questo è tutto ciò che è richiesto. A volte le persone potrebbero non essere interessate a descrivere, ad esempio, la distribuzione log-gamma della versione discreta effettiva del rapporto tra abbondanza trascrizionale gene1 vs gene2 in soggetti malati vs controllo, piuttosto l'unica cosa importante è se questo è elevato e quanta varianza del fenotipo o probabilità di malattia, spiega.