Regolazione per le covariate nell'analisi della curva ROC

Questa domanda riguarda la stima dei punteggi di cut-off su un questionario di screening multidimensionale per prevedere un endpoint binario, in presenza di scale correlate.

Mi è stato chiesto l'interesse del controllo per i punteggi secondari associati quando ho ideato i punteggi di cut-off su ogni dimensione di una scala di misurazione (tratti di personalità) che potrebbero essere utilizzati per lo screening dell'alcolismo. Cioè, in questo caso particolare, la persona non era interessata ad adattarsi alle covariate esterne (predittori) - il che porta ad un'area (parziale) sotto una curva ROC aggiustata dalla covariata, ad esempio (1-2) - ma essenzialmente su altri punteggi dallo stesso questionario perché si correlano tra loro (es. "impulsività" con "ricerca della sensazione"). Equivale a costruire un GLM che includa sul lato sinistro il punteggio di interesse (per il quale cerchiamo un cut-off) e un altro punteggio calcolato dallo stesso questionario, mentre sul lato destro il risultato potrebbe essere lo stato di consumo.

Per chiarire (per richiesta di @robin), supponiamo di avere punteggi, diciamo (ad esempio ansia, impulsività, nevroticismo, ricerca della sensazione) e vogliamo trovare un valore di (cioè "caso positivo" se , "caso negativo" altrimenti) per ciascuno di essi. Di solito ci adeguiamo ad altri fattori di rischio come il genere o l'età quando escogita tale soglia (usando l'analisi della curva ROC). Ora, che dire di regolare l'impulsività (IMP) su genere, età e ricerca di sensazioni (SS) poiché SS è noto per correlarsi con IMP? In altre parole, avremmo un valore limite per la PIM in cui vengono rimossi gli effetti dell'età, del genere e del livello di ansia.$j=4$$x_j$$t_j$$x_j>t_j$

Oltre a dire che un taglio deve rimanere il più semplice possibile, la mia risposta è stata

A proposito di covariate, consiglierei di stimare gli AUC con e senza aggiustamento, solo per vedere se l'aumento delle prestazioni predittive. Qui, le tue covariate sono semplicemente altri punteggi secondari definiti dallo stesso strumento di misurazione e non ho mai affrontato una situazione del genere (di solito, mi adeguo a fattori di rischio noti, come l'età o il genere). [...] Inoltre, poiché sei interessato a problemi prognostici (ovvero l'efficacia dello screening del questionario), potresti anche essere interessato a stimare il valore predittivo positivo (PPV, probabilità di pazienti con risultati positivi del test che sono correttamente classificati) fornito sei in grado di classificare le materie come "positive" o "negative" a seconda dei loro punteggi nel questionario. Nota, tuttavia,

Hai una comprensione più approfondita di questa situazione particolare, con link a documenti pertinenti quando possibile?

Riferimenti

1. Janes, H e Pepe, MS (2008). Adeguamento per covariate negli studi di marker diagnostici, di screening o prognostici: un vecchio concetto in una nuova impostazione . American Journal of Epidemiology , 168 (1): 89-97.
2. Janes, H e Pepe, MS (2008). Accompagnamento delle covariate nell'analisi dei ROC . Serie di carte di lavoro sulla biostatistica UW , carta 322.

Il modo in cui hai immaginato l'analisi non è davvero il modo in cui ti suggerirei di iniziare a pensarci. Innanzitutto è facile dimostrare che se si devono usare i cutoff, i cutoff non vengono applicati alle singole funzionalità ma alla probabilità complessiva prevista. Il taglio ottimale per una singola covariata dipende da tutti i livelli delle altre covariate; non può essere costante. In secondo luogo, le curve ROC non svolgono alcun ruolo nel raggiungimento dell'obiettivo di prendere decisioni ottimali per un singolo soggetto.

Per gestire le scale correlate ci sono molte tecniche di riduzione dei dati che possono aiutare. Uno di questi è un'analisi formale di ridondanza in cui ogni predittore viene predetto non linearmente da tutti gli altri predittori, a loro volta. Questo è implementato nella redunfunzione nel Hmiscpacchetto R. Il clustering variabile, l'analisi dei componenti principali e l'analisi dei fattori sono altre possibilità. Ma la parte principale dell'analisi, a mio avviso, dovrebbe essere la costruzione di un buon modello di probabilità (ad esempio, modello logistico binario).

Il punto dell'articolo Janes, Pepe sulle curve ROC aggiustate dalla covariata, sta permettendo un'interpretazione più flessibile dei valori stimati della curva ROC. Questo è un metodo per stratificare le curve ROC tra gruppi specifici nella popolazione di interesse. La frazione positiva vera stimata (TPF; sensibilità eq.) E la frazione negativa reale (TNF; specificità eq.) Sono interpretate come "la probabilità di un esito di screening corretto dato che lo stato della malattia è S / N tra gli individui della stessa [variabile aggiustata elenco]". A prima vista, sembra che ciò che stai cercando di fare sia migliorare il tuo test diagnostico incorporando più marcatori nel tuo pannello.

Un buon background per comprendere questi metodi un po 'meglio sarebbe leggere sul modello di rischi proporzionali di Cox e guardare il libro di Pepe su "La valutazione statistica dei test medici per la classificazione e ...". Noterai che le misure di affidabilità dello screening condividono molte proprietà simili con una curva di sopravvivenza, pensando al punteggio adattato come a un tempo di sopravvivenza. Proprio come il modello Cox consente la stratificazione della curva di sopravvivenza, essi propongono di fornire misure di affidabilità stratificate.

La ragione per cui questo è importante per noi potrebbe essere giustificata nel contesto di un modello binario di effetti misti: supponiamo che tu sia interessato a prevedere il rischio di diventare un tossicodipendente. SES ha un effetto dominante così evidente su questo che sembra sciocco valutare un test diagnostico, che potrebbe essere basato su comportamenti personali, senza stratificarsi in qualche modo. Questo perché [solo con questo], anche se una persona ricca ha manifestato sintomi maniacali e depressivi, probabilmente non proveranno mai con meth. Tuttavia, una persona povera mostrerebbe un aumento del rischio molto maggiore con tali sintomi psicologici (e un punteggio di rischio più elevato). L'analisi rozza del rischio mostrerebbe prestazioni molto scarse del modello predittivo perché le stesse differenze in due gruppi non erano affidabili. Tuttavia, se ti sei stratificato (ricco contro povero),

Il punto di aggiustamento della covariata è considerare diversi gruppi omogenei a causa della minore prevalenza e interazione nel modello di rischio tra strati distinti.