Modellazione quando la variabile dipendente ha un "cut-off"

Ci scusiamo in anticipo se la terminologia che uso non è corretta. Gradirei qualsiasi correzione. Se quello che descrivo come un "cut-off" ha un nome diverso, fammi sapere e posso aggiornare la domanda.

La situazione che mi interessa è questa: hai variabili indipendenti e una singola variabile dipendente . Lo lascerò vago, ma presumo che sarebbe relativamente semplice ottenere un buon modello di regressione per queste variabili. $\bf{x}$ $y$

Tuttavia, il modello che intendi creare è per le variabili indipendenti e la variabile dipendente , dove è un valore fisso nell'intervallo di . Allo stesso modo, i dati a cui hai accesso non includono , solo . $\bf{x}$ $w = \min(y,a)$ $a$ $y$ $y$ $w$

Un esempio (alquanto irrealistico) di questo sarebbe se si stesse cercando di modellare per quanti anni le persone percepiranno la pensione. In questo caso, $\bf{x}$ potrebbe essere informazioni rilevanti come sesso, peso, ore di allenamento a settimana, ecc. La variabile "sottostante" $y$ sarebbe l'aspettativa di vita. Tuttavia, la variabile a cui avresti accesso e che stai tentando di prevedere nel tuo modello sarebbe $w = \min(0, y-r)$ dove r è l'età pensionabile (supponendo che per semplicità sia fissa).

Esiste un buon approccio per affrontare questo problema nel modello di regressione?

— Ben Aaronson
fonte

Non ne sono certo, ma sembra che potrebbe essere accessibile attraverso alcune variazioni dell'analisi di sopravvivenza. 1) Implica la censura 2) Almeno nel tuo esempio, implica tempo. Ma sarebbe censurato a sinistra piuttosto che censurato a destra (il che è più comune). Se sei d'accordo con me, potresti aggiungere il tag di sopravvivenza e vedere se qualcuno ci salta sopra.

— Peter Flom - Ripristina Monica

@Peter Mi sembra sicuramente censurato a destra. La parte su cui si verifica la censura è di scarsa importanza, perché negando la variabile dipendente si passa dalla censura destra a quella sinistra.

— whuber

@whuber Penso che tu abbia ragione. Ma, come dici tu, la censura può passare abbastanza facilmente.

— Peter Flom - Ripristina Monica

L'esempio di pensionamento sembra richiedere un modello di dati di conteggio (se si è disposti a arrotondare per anni interi e fintanto che tutti sono morti prima di eseguire l'analisi). L'approccio variabile latente sembra allungarsi con questo poiché il tempo non può essere negativo.

— Dimitriy V. Masterov,

Questo tipo di modello ha diversi nomi, a seconda della disciplina e dell'area tematica. Nomi comuni per esso sono Variabili dipendenti censurati, Variabili dipendenti troncate, Variabili dipendenti limitate, Analisi di sopravvivenza, Tobit e Regressione censurata. Probabilmente tralascerò molti altri nomi.

L'impostazione che suggerisci dove viene osservato si chiama "censura giusta", perché i valori di troppo a destra sulla linea reale vengono censurati --- e invece vediamo solo il punto di censura, . $\min\{y_i,a\}$ $y_i$ $a$

Un modo di trattare dati come questo è attraverso l'uso di variabili latenti (e questo è fondamentalmente ciò che proponi). Ecco un modo per procedere:

\begin{aligned} y_{i} & = x_{i}^{'} β + ε_{i} \\ w_{i} & = min {y_{i}, a} \\ ε_{i} & \sim N (0, σ^{2}) i i d \end{aligned}

$\begin{align} y_i &= x_i'\beta+\varepsilon_i\\ w_i &= \min\{y_i, a\}\\ \varepsilon_i &\sim N(0,\sigma^2)\; \ {\rm iid} \end{align}$

Quindi, puoi analizzarlo con la massima probabilità. Le osservazioni in cui si verifica la censura contribuiscono alla funzione di probabilità e le osservazioni in cui non si verifica la censura contribuiscono alla funzione di verosimiglianza. Il CDF dello standard normale è e la densità dello standard normale è . Quindi, la funzione di verosimiglianza assomiglia a: $P\{y_i>a\}=\Phi(\frac{1}{\sigma}x_i'\beta-a)$ $\frac{1}{\sigma}\phi((y_i-x_i'\beta)/\sigma)$ $\Phi$ $\phi$

\begin{aligned} L (β, σ) & = \prod_{i \in censored} Φ (\frac{1}{σ} x_{i}^{'} β - a) \prod_{i \notin censored} \frac{1}{σ} ϕ ((y_{i} - x_{i}^{'} β) / σ) \end{aligned}

$\begin{align} L(\beta,\sigma) &= \prod_{i\ \in\ \text{censored}} \Phi\left(\frac{1}{\sigma}x_i'\beta-a\right) \prod_{i\ \not\in\ \text{censored}} \frac{1}{\sigma}\phi\big((y_i-x_i'\beta)/\sigma\big) \end{align}$

Stimare e massimizzandolo. Si ottengono errori standard come i soliti errori standard di massima probabilità. $\beta$ $\sigma$

Come puoi immaginare, questo è solo un approccio tra i tanti.

— Conto
fonte

+1 Un esempio funzionante della soluzione ML appare su stats.stackexchange.com/questions/49443 .

— whuber

@whuber Questa è una bella esposizione.

— Bill