Come si trovano i pesi per la regressione dei minimi quadrati ponderati?

23

Sono un po 'perso nel processo di regressione di WLS. Mi è stato assegnato un set di dati e il mio compito è verificare se esiste l'eteroscedascità e, in tal caso, dovrei eseguire la regressione WLS.

Ho effettuato il test e trovato prove per l'eteroscedascità, quindi devo eseguire il WLS. Mi è stato detto che WLS è sostanzialmente la regressione OLS di un modello trasformato, ma sono un po 'confuso nel trovare la funzione di trasformazione. Ho letto alcuni articoli che suggeriscono che la trasformazione può essere funzione di residui quadrati dalla regressione OLS, ma apprezzerei se qualcuno potesse aiutarmi a prendere la strada giusta.

regression heteroscedasticity weighted-regression

— m3d1v0
fonte

2

Se si assume che la matrice di covarianza degli errori sia diagonale, è possibile stimare la matrice di covarianza e quindi la regressione WLS con i pesi stimati. Per fare ciò puoi controllare i minimi quadrati generalizzati fattibili su en.wikipedia.org/wiki/Generalized_least_squares

— Manuel,

26

$X$ $Y$

$X$ situazione. Di conseguenza, è possibile provare a stimare la funzione relativa alla varianza dei residui con i livelli delle variabili del predittore.

Esistono diverse questioni relative al modo in cui tale stima dovrebbe essere effettuata:

Ricorda che i pesi dovrebbero essere il reciproco della varianza (o qualunque cosa tu usi).
$X$ $X$
$X$ plot(model, which=2) $X$ deviazione assoluta mediana dalla mediana .
$X$ $X$
Ottenere i tuoi pesi dai residui di una regressione OLS è ragionevole perché OLS è imparziale, anche in presenza di eteroscedasticità. Tuttavia, quei pesi sono dipendenti dal modello originale e possono cambiare la misura del modello WLS successivo. Pertanto, è necessario verificare i risultati confrontando i beta stimati con le due regressioni. Se sono molto simili, stai bene. Se i coefficienti WLS differiscono da quelli OLS, è necessario utilizzare le stime WLS per calcolare manualmente i residui (i residui riportati dall'adattamento WLS terranno conto dei pesi). Dopo aver calcolato una nuova serie di residui, determinare nuovamente i pesi e utilizzare i nuovi pesi in una seconda regressione WLS. Questo processo dovrebbe essere ripetuto fino a quando due serie di beta stimati sono sufficientemente simili (anche se farlo una volta non è raro).

Se questo processo ti mette in qualche modo a disagio, perché i pesi sono stimati e perché dipendono dal modello precedente e errato, un'altra opzione è quella di utilizzare lo stimatore "sandwich" Huber-White . Ciò è coerente anche in presenza di eteroscedasticità, non importa quanto grave, e non dipende dal modello. È anche potenzialmente meno seccante.

Dimostro una versione semplice di minimi quadrati ponderati e l'uso dei SE sandwich nella mia risposta qui: Alternative all'ANOVA a senso unico per i dati eteroscedastici .

— gung - Ripristina Monica
fonte

10

Quando si esegue WLS, è necessario conoscere i pesi. Ci sono alcuni modi per trovarli come detto a pagina 191 di Introduzione all'analisi della regressione lineare di Douglas C. Montgomery, Elizabeth A. Peck, G. Geoffrey Vining. Per esempio:

Esperienza o informazioni preliminari usando alcuni modelli teorici.
${\rm var}(\varepsilon_i)=\sigma^2x_i$ $w_i=1/x_i$
$n_i$ $x_i$ ${\rm var}(y_i)={\rm var}(\varepsilon_i)=\sigma^2/n_i$ $w_i=n_i$
A volte sappiamo che diverse osservazioni sono state misurate da strumenti diversi che hanno una certa accuratezza (nota o stimata). In questo caso, potremmo decidere di utilizzare i pesi inversamente proporzionali alla varianza degli errori di misurazione.

— statistica
fonte