Definizione dei pesi minimi quadrati ponderati: funzione R lm vs.

Qualcuno potrebbe dirmi perché sto ottenendo risultati diversi dai Rminimi quadrati ponderati e dalla soluzione manuale per operazione a matrice ?

In particolare, sto cercando di risolvere manualmente , dove è la matrice diagonale sui pesi, è la matrice di dati, è la risposta vettore. $\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf b$ $\mathbf W$ $\mathbf A$ $\mathbf b$

Sto cercando di confrontare i risultati con la R lmfunzione usando l' weightsargomento.

— Haitao Du
fonte

Ho modificato i tag: questo non era sicuramente [autoapprendimento]. Inoltre non si tratta proprio di GLS (ma di un caso molto speciale), quindi ho rimosso anche quello.

— amoeba,

Come puoi vedere dalle espressioni matematiche per i tuoi calcoli, stai ottenendo

((W A)^{'} (W A))^{- 1} ((W A)^{'} (W b)) = (A^{'} W^{2} A)^{- 1} (A^{'} W^{2} b) .

$((WA)^\prime (WA))^{-1} \; ((WA)^\prime (Wb)) = (A^\prime W^2 A)^{-1} (A^\prime W^2 b).$

Evidentemente i vostri pesi sono , non . Quindi dovresti confrontare la tua risposta con l'output di $W^2$ $W$

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446

L'accordo è perfetto (all'interno di un errore in virgola mobile - internamente, Rutilizza un algoritmo numericamente più stabile).

— whuber
fonte

Probabilmente, stiamo solo parlando di convenzioni software qui: dove il software prevede "pesi", vuole che tu gli dia o ? Ho pensato che questa fosse una domanda preziosa perché il problema potrebbe influenzare qualsiasi pacchetto statistico. Indipendentemente dalle convenzioni, la breve analisi in questa risposta suggerisce quali interpretazioni alternative di "pesi" potrebbero essere ragionevoli e vale la pena sperimentare in ogni circostanza.

W

$W$

W^{2}

$W^2$

— whuber

Sì, penso che sia confuso, ho ottenuto l'espressione dal libro di algebra lineare di Gilbert Strang, capitolo 8.6, dove dice che il minimo quadrato ponderato è solo un aggiustamento da a

A x = b

$Ax=b$

W A x = W b

$WAx=Wb$

— Haitao Du

Strang ha ragione, ma ha l'orientamento pedagogico all'indietro: inizia con la risposta piuttosto che con il problema. Il problema riguarda come eseguire l'analogo di una procedura dei minimi quadrati quando le varianze dei residui hanno valori noti, ma diversi . Per vari (ma semplici) motivi teorici, i dati dovrebbero essere ponderati dalle varianze inverse (a volte chiamate "precisazioni"). Da ciò si può capire che deve essere la radice quadrata dei pesi.

W

$W$

— whuber