Inferenza nel modello lineare con eteroschedasticità condizionale

Supponiamo che io osservi vettori variabili indipendenti e e la variabile dipendente . Vorrei adattarmi a un modello del modulo: dove è una funzione a doppia differenziazione a valore positivo, è un parametro di ridimensionamento sconosciuto e è una variabile casuale gaussiana a media zero a varianza unitaria (considerata indipendente da e ). Questa è essenzialmente la configurazione del test di eteroschedasticità di Koenker (almeno per quanto io lo capisca). $\vec{x}$ $\vec{z}$ $y$

y = {\vec{x}}^{⊤} \vec{β_{1}} + σ g ({\vec{z}}^{⊤} \vec{β_{2}}) ϵ,

$y = \vec{x}^{\top}\vec{\beta_1} + \sigma g\left(\vec{z}^{\top} \vec{\beta_2}\right) \epsilon,$

g

$g$

σ

$\sigma$

ϵ

$\epsilon$

\vec{x}

$\vec{x}$

\vec{z}

$\vec{z}$

Ho di osservazioni su e , e vorrei stimare e . Ho qualche problema, però: $n$ $\vec{x}, \vec{z}$ $y$ $\vec{\beta_1}$ $\vec{\beta_2}$

Non sono sicuro di come porre il problema della stima come qualcosa di simile ai minimi quadrati (suppongo che ci sia un trucco ben noto). La mia prima ipotesi sarebbe qualcosa come ma io non sono sicuro di come risolverlo numericamente (forse un metodo iterativo quasi-Newton potrebbe fare). $m i n_{\vec{β_{1}}, \vec{β_{2}}} (\sum_{i = 1}^{n} \frac{{(y_{i} - {\vec{x_{i}}}^{⊤} \vec{β_{1}})}^{2}}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}}) {(\sum_{i = 1}^{n} \frac{1}{g {({\vec{z_{i}}}^{⊤} \vec{β_{2}})}^{2}})}^{- 1},$ $min_{\vec{\beta_1}, \vec{\beta_2}} \left(\sum_{i=1}^n \frac{\left(y_i - \vec{x_i}^{\top}\vec{\beta_1}\right)^2}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)\left(\sum_{i=1}^n \frac{1}{g\left(\vec{z_i}^{\top}\vec{\beta_2}\right)^2}\right)^{-1},$
Supponendo che io possa porre il problema in modo sano e trovare alcune stime , vorrei conoscere la distribuzione delle stime in modo che, ad esempio, possa eseguire test di ipotesi. Andrei bene testando i due vettori di coefficiente separatamente, ma preferirei un modo per testare, ad esempio per un determinato . $\hat{\beta}_1, \hat{\beta}_2$ $H_0: \vec{w_1}^{\top} \vec{\beta_1} + \vec{w_2}^{\top} \vec{\beta_2} \le c$ $\vec{w_1}, \vec{w_2}, c$

— shabbychef
fonte

Buona domanda. Hai un'idea di come ? è liscio? ha dei salti? Invece del minimo quadrato hai provato la massima probabilità (conosci questo documento projecteuclid.org/… ?)

g

$g$

— robin girard

@robin girard: MLE è una buona idea per la domanda 1. Sospetto che per errori gaussiani, MLE fornirà stime identiche alla mia minimizzazione ad hoc . Per quanto riguarda , come ho notato, possiamo supporre che sia valutato positivamente e due volte differenziabile. Probabilmente possiamo presumere che sia anche convesso e forse possiamo supporre che sia analitico.

g

$g$

— Shabbychef,

In un contesto leggermente più generale con un vettore dimensionale di -osservazioni (risposte o variabili dipendenti), e matrice di -osservazioni (covariate o variabili dipendenti) e i parametri in modo tale che quindi la probabilità meno log-log sia Nella domanda del PO, è diagonale con $Y$ $n$ $y$ $X$ $n \times p$ $x$ $\theta = (\beta_1, \beta_2, \sigma)$ $Y \sim N(X\beta_1, \Sigma(\beta_2, \sigma))$

l (β_{1}, β_{2}, σ) = \frac{1}{2} (Y - X β_{1})^{T} Σ (β_{2}, σ)^{- 1} (Y - X β_{1}) + \frac{1}{2} \log | Σ (β_{2}, σ) |

$l(\beta_1, \beta_2, \sigma) = \frac{1}{2}(Y-X\beta_1)^T \Sigma(\beta_2, \sigma)^{-1} (Y-X\beta_1) + \frac{1}{2}\log |\Sigma(\beta_2, \sigma)|$

Σ (β_{2}, σ)

$\Sigma(\beta_2, \sigma)$

Σ (β_{2}, σ)_{i i} = σ^{2} g (z_{i}^{T} β_{2})^{2}

$\Sigma(\beta_2, \sigma)_{ii} = \sigma^2 g(z_i^T \beta_2)^2$ modo che il determinante diventi e la probabilità meno log risultante diventa Esistono diversi modi per affrontare la minimizzazione di questa funzione (supponendo che i tre parametri siano indipendenti dalla variazione).

σ^{2 n} \prod_{i = 1}^{n} g (z_{i}^{T} β_{2})^{2}

$\sigma^{2n} \prod_{i=1}^n g(z_i^T \beta_2)^2$

\frac{1}{2 σ^{2}} \sum_{i = 1}^{n} \frac{(y_{i} - x_{i}^{T} β_{1})^{2}}{g (z_{i}^{T} β_{2})^{2}} + n \log σ + \sum_{i = 1}^{n} \log g (z_{i}^{T} β_{2})

$\frac{1}{2\sigma^2} \sum_{i=1}^n \frac{(y_i-x_i^T\beta_1)^2}{ g(z_i^T \beta_2)^2} + n \log \sigma + \sum_{i=1}^n \log g(z_i^T \beta_2)$

Puoi provare a minimizzare la funzione con un algoritmo di ottimizzazione standard ricordando il vincolo che . $\sigma > 0$
È possibile calcolare il profilo meno probabilità log di riducendo al minimo over per fixed e quindi collegare la funzione risultante in un algoritmo di ottimizzazione non vincolato standard. $(\beta_1, \beta_2)$ $\sigma$ $(\beta_1, \beta_2)$
È possibile alternare tra l'ottimizzazione su ciascuno dei tre parametri separatamente. L'ottimizzazione su può essere eseguita analiticamente, l'ottimizzazione su è un problema di regressione dei minimi quadrati ponderati, e l'ottimizzazione su equivale ad adattare un modello lineare generalizzato gamma con il collegamento inverso. $\sigma$ $\beta_1$ $\beta_2$ $g^2$

L'ultimo suggerimento mi piace perché si basa su soluzioni che già conosco bene. Inoltre, la prima iterazione è qualcosa che prenderei in considerazione comunque. Cioè, prima calcola una stima iniziale di con minimi quadrati ordinari ignorando la potenziale eteroschedasticità, quindi adatta una gamma glm ai residui quadrati per ottenere una stima iniziale di solo per verificare se il modello più complicato sembra utile. Le iterazioni che incorporano l'eteroschedasticità nella soluzione dei minimi quadrati man mano che i pesi potrebbero migliorare sulla stima. $\beta_1$ $\beta_2$ $-$

Per quanto riguarda la seconda parte della domanda, probabilmente prenderei in considerazione il calcolo di un intervallo di confidenza per la combinazione lineare o usando gli asintotici MLE standard (verificando con simulazioni il funzionamento degli asintotici) o avviando il bootstrap. $w_1^T\beta_1 + w_2^T\beta_2$

Modifica: Per asintotici MLE standard intendo usare l'approssimazione normale multivariata alla distribuzione dell'MLE con matrice di covarianza l'informazione inversa di Fisher. Le informazioni di Fisher sono per definizione la matrice di covarianza del gradiente di . Dipende in generale dai parametri. Se riesci a trovare un'espressione analitica per questa quantità, puoi provare a collegare l'MLE. In alternativa, è possibile stimare le informazioni Fisher tramite le informazioni Fisher osservate , che è l'Assia di nel MLE. Il tuo parametro di interesse è una combinazione lineare dei parametri in due $l$ $l$ $\beta$ -vettori, quindi dalla normale multivariata approssimativa della MLE è possibile trovare una normale approssimazione della distribuzione degli stimatori come descritto qui . Questo ti dà un errore standard approssimativo e puoi calcolare gli intervalli di confidenza. È ben descritto in molti libri statistici (matematici), ma una presentazione ragionevolmente accessibile che posso consigliare è In All Likelihood di Yudi Pawitan. Comunque, la derivazione formale della teoria asintotica è abbastanza complicata e si basa su una serie di condizioni di regolarità, e fornisce solo valide asintotichedistribuzioni. Quindi, in caso di dubbio, farei sempre alcune simulazioni con un nuovo modello per verificare se posso fidarmi dei risultati per parametri realistici e dimensioni del campione. Il bootstrap semplice e non parametrico in cui si campionano le triple dal set di dati osservato con la sostituzione può essere un'alternativa utile se la procedura di adattamento non richiede troppo tempo. $(y_i,x_i,z_i)$

— NRH
fonte

quali sono gli asintotici MLE standard?

— shabbychef,

@shabbychef, era tardi. Ho dato una spiegazione più dettagliata. Si noti che affinché gli asintotici funzionino in teoria, come spiegato, il modello deve essere corretto e lo stimatore deve essere il MLE. Risultati più generali possono essere ottenuti nel quadro delle funzioni di stima generale e delle equazioni di stima, vedi, ad esempio, il libro Quasi-verosimiglianza e ... di Heyde.

— NRH