Cosa sono esattamente i dati censurati?

Ho letto diverse descrizioni di dati censurati:

A) Come spiegato in questa discussione, i dati non quantificati al di sotto o al di sopra di una determinata soglia vengono censurati. Non qualificato significa che i dati sono al di sopra o al di sotto di una certa soglia ma non conosciamo il valore esatto. I dati vengono quindi contrassegnati sul valore di soglia basso o alto nel modello di regressione. Corrisponde alla descrizione in questa presentazione , che ho trovato molto chiara (seconda diapositiva nella prima pagina). In altre parole, è limitato al minimo, al massimo o ad entrambi perché non conosciamo il vero valore al di fuori di tale intervallo.$Y$

B) Un amico mi ha detto che possiamo applicare un modello di dati censurato a osservazioni parzialmente sconosciute , a condizione che abbiamo almeno alcune informazioni limite sugli esiti sconosciuti . Ad esempio, vogliamo stimare il prezzo finale per un mix di aste silenziose e aperte sulla base di alcuni criteri qualitativi (tipo di merci, paese, ricchezza degli offerenti, ecc.). Mentre per le aste aperte conosciamo tutti i prezzi finali , per le aste silenziose conosciamo solo la prima offerta (diciamo $ 1.000) ma non il prezzo finale. Mi è stato detto che in questo caso i dati sono censurati dall'alto e dovrebbe essere applicato un modello di regressione censurato.$Y$$Y_i$$Y_i$

C) Infine c'è la definizione data da Wikipedia in cui manca del tutto ma i predittori sono disponibili. Non sono sicuro di come questo esempio sia diverso dai dati troncati.$Y$

Cosa sono esattamente i dati censurati?

Considera i seguenti dati su un risultato $y$ una covariata $x$ :

user y       x   
1    10      2 
2   (-∞,5]   3 
3   [4,+∞)   5   
4   [8,9]    7
5     .      .

Per l'utente 1, abbiamo i dati completi. Per tutti gli altri, abbiamo dati incompleti. Gli utenti 2, 3 e 4 sono tutti censurati: il risultato corrispondente ai valori noti della covariata non è osservato o non è osservato esattamente (censurato a sinistra, a destra e ad intervallo). A volte questo è un artefatto di considerazioni sulla privacy nella progettazione del sondaggio. Altre volte, succede per altri motivi. Ad esempio, non osserviamo alcun salario al di sotto del salario minimo o la domanda effettiva di biglietti per concerti al di sopra della capacità dell'arena.

L'utente 5 viene troncato: mancano sia il risultato sia la covariata. Questo di solito accade perché raccogliamo solo dati su persone che hanno fatto qualcosa. Ad esempio, esaminiamo solo le persone che hanno acquistato qualcosa ( ), quindi escludiamo chiunque abbia y = 0 insieme alle loro x s. Potremmo anche non avere una riga per questo tipo di utente nei dati di uscita, anche se sappiamo che esistono perché conosciamo la regola utilizzata per generare il nostro campione. Un altro esempio è il troncamento accidentale : osserviamo le offerte salariali solo per le persone che fanno parte della forza lavoro, perché presumiamo che l'offerta salariale sia il salario quando lavori. Il troncamento è secondario poiché non dipende da $y>0$$y=0$$x$$y$, ma su un'altra variabile.

In breve, il troncamento implica una perdita di informazioni maggiore rispetto alla censura (punti A e B). Entrambi questi tipi di "mancanza" sono sistematici.

Lavorare con questo tipo di dati comporta in genere una forte ipotesi di distribuzione sull'errore e la modifica della probabilità di tenerne conto. Sono anche possibili approcci semi-parametrici più flessibili. Questo è implicito nel tuo punto B.

Descrittivamente, vorrei offrire "un campione di dati viene censurato se alcune osservazioni in esso assumono o costituiscono i valori estremi del campione ma il loro vero valore è al di fuori dell'intervallo del campione osservato". Ma questo è ingannevolmente semplice.

Quindi, prima di tutto discutiamo di come possiamo concludere che un set di dati è censurato, il che naturalmente ci condurrà a discutere i casi presentati nella domanda.

Supponiamo di avere il seguente set di dati da una variabile casuale discreta , per la quale l'unica cosa che sappiamo è che non è negativa:$X$

Possiamo dire che il set di dati è censurato? Bene, abbiamo il diritto di pensare che potrebbe essere, ma non è necessariamente così:

1) può avere un intervallo { 0 , 1 , 2 } e una distribuzione di probabilità { 0,1 , 0,1 , 0,8 } . Se questo è davvero il caso, sembra che qui non ci sia censura, ma solo un campione "anticipato" da una tale variabile casuale, con supporto limitato e distribuzione altamente asimmetrica. $X$$\{0,1,2\}$$\{0.1,0.1,0.8\}$

2) Ma può essere il caso che ha la gamma { 0 , 1 , . . . , 9 } con distribuzione di probabilità uniforme { 0,1 , 0,1 , . . .0 .1 } , nel qual caso il nostro campione di dati è molto probabilmente censurato. $X$$\{0,1,...,9\}$$\{0.1,0.1,...0.1\}$

Come possiamo dirlo? Non possiamo, tranne se possediamo conoscenze o informazioni precedenti , che ci consentiranno di discutere a favore dell'uno o dell'altro caso. I tre casi presentati nella domanda rappresentano una conoscenza preliminare dell'effetto della censura? Vediamo:

Il caso A) descrive una situazione in cui per alcune osservazioni abbiamo solo informazioni qualitative come "molto grande", "molto piccolo" ecc., Che ci porta ad assegnare all'osservazione un valore estremo. Notare che semplicemente non conoscere il valore reale realizzato non giustifica l'assegnazione di un valore estremo. Quindi dobbiamo avere alcune informazioni sull'effetto che per queste osservazioni, il loro valore supera o è inferiore a tutti quelli osservati. In questo caso, l'intervallo effettivo della variabile casuale è sconosciuto, ma le nostre informazioni qualitative ci consentono di creare un campione censurato (è un'altra discussione sul perché non abbandoniamo solo le osservazioni per le quali non possediamo il valore reale realizzato ).

Il caso B) non è un caso di censura, se lo capisco correttamente, ma piuttosto un caso di campione contaminato: le nostre informazioni a priori ci dicono che il valore massimo della variabile casuale non può superare (a causa di una legge fisica o di un diritto sociale - supponiamo che si tratti dei dati dei voti da un sistema di classificazione che utilizza solo i valori 1 , 2 , 3 ). Ma abbiamo osservato anche il valore 4 e il valore 5 . Come può essere? Errore nella registrazione dei dati. Ma in tal caso, non sappiamo con certezza che i 4 e i 5 dovrebbero essere tutti e $3$$1,2,3$$4$$5$$4$$5$$3$(in effetti, guardando la tastiera laterale di un computer, è più probabile che i siano 1 e i 5 siano 2 !). "Correggendo" in qualunque modo il campione, non lo rendiamo censurato, perché la variabile casuale non dovrebbe inizialmente spaziare nell'intervallo registrato (quindi non ci sono vere probabilità assegnate ai valori 4 e 5 ). $4$$1$$5$$2$$4$$5$

Il caso C) si riferisce a un campione congiunto, in cui abbiamo una variabile dipendente e predittori. Qui, potremmo avere un campione in cui i valori della variabile dipendente sono concentrati a uno o entrambi gli estremi, a causa della struttura del fenomeno in esame: nell'esempio usuale "ore lavorate", i disoccupati non lavorano ma avrebbero ha funzionato (pensa attentamente: questo caso rientra davvero nella "definizione" descrittiva all'inizio di questa risposta?). Quindi includerli nella regressione con le ore registrate "zero" creano distorsioni. All'altro estremo, si può sostenere che il numero massimo di ore lavorate può raggiungere, diciamo $16$/ giorno e potrebbero esserci dipendenti disposti a lavorare così tanti per una determinata retribuzione. Ma il quadro giuridico non lo consente e quindi non osserviamo tali "ore lavorate". Qui, stiamo provando a stimare la " funzione di offerta di lavoro prevista ", ed è rispetto a questa variabile che il campione è caratterizzato come censurato.
Ma se dichiarassimo che ciò che vogliamo fare è stimare "la funzione dell'offerta di lavoro dato il fenomeno della disoccupazione e il quadro giuridico", il campione non verrebbe censurato, poiché rifletterebbe l'effetto di questi due aspetti, qualcosa che vogliamo da fare.

Quindi vediamo che la caratterizzazione di un campione di dati come censurato
a) può provenire da diverse situazioni
eb) richiede un po 'di cura
da sola il fatto che può essere confuso con il caso del troncamento .

Per me censurare significa che osserviamo informazioni parziali su un'osservazione . Quello che voglio dire con questo è che, piuttosto che osservare Z i = z i osserviamo Z i ∈ un i cui un i è la realizzazione di A i , che è circa coarsening casuale dello spazio campionario. Potremmo immaginare di selezionare prima una partizione A i dello spazio campione Z , quindi Z i viene generato e riportiamo A i ∈ A i tale che$Z_i$$Z_i = z_i$$Z_i \in a_i$$a_i$$A_i$$\mathcal A_i$$\mathcal Z$$Z_i$$A_i \in \mathcal A_i$ (equivalentemente, riportiamo I ( Z i ∈ A ) per tutti A ∈ A i ). La censura non informativa di Z i , ad esempio, significa che A i è indipendente da Z i .$Z_i \in A_i$$I(Z_i \in A)$$A \in \mathcal A_i$$Z_i$$\mathcal A_i$$Z_i$

Questo è un po 'euristico e sciatto. Probabilmente dovremmo anche richiedere che la distribuzione di sia non degenerata per considerare Z i censurato. Possiamo anche notare che, come definito, si tratta di una generalizzazione dei dati mancanti in cui per Z i = ( X i , Y i ) si potrebbe dire che Y i manca se a i = { x } × Y dove $[Z_i \mid Z_i \in a_i]$$Z_i$$Z_i = (X_i, Y_i)$$Y_i$$a_i = \{x\} \times \mathcal Y$$\mathcal Y$è lo spazio campione di e di ' Z i è mancante se un i = Z . Quando si dice " Z i è censurato", se seguono la mia definizione, ciò che di solito significano è " Z i è censurato, ma non manca".$Y$$Z_i$$a_i = \mathcal Z$$Z_i$$Z_i$

È importante distinguere i dati censurati rispetto a quelli troncati e mancanti .

Il censimento si applica specificamente al problema dell'analisi di sopravvivenza e dei risultati del time-to-event in cui si presume che l'evento a portata di mano si sia verificato in qualche momento oltre il punto in cui hai smesso di osservare quell'individuo . Un esempio sono gli uomini che hanno rapporti sessuali con uomini (MSM) e il rischio di incidenti HIV in uno studio prospettico che sposta e interrompe il contatto con i coordinatori dello studio.

Il troncamento si applica a una variabile continua che valuta un punto specifico in cui è noto che il valore effettivo è maggiore o minore di quel punto. Un esempio è il monitoraggio dei soggetti con HIV e lo sviluppo dell'AIDS in piena regola, il conteggio delle cellule CD4 che scende al di sotto di 300 viene valutato al limite inferiore di rilevamento 300.

Infine, i dati mancanti sono dati che hanno valori reali che non vengono osservati in alcun senso. I dati censurati non mancano di dati time-to-event né vengono troncati.

1. Censurato: è un termine usato per indicare che il periodo di osservazione è stato interrotto prima che si verificasse l'evento di interesse. Pertanto, i "dati censurati" indicano che il periodo di un determinato evento non è o non si è mai verificato