Interpretazione dei beta quando ci sono più variabili categoriche

Comprendo il concetto che è la media per quando la variabile categoriale è uguale a 0 (o è il gruppo di riferimento), dando l'interpretazione finale che il coefficiente di regressione è la differenza nella media delle due categorie. Anche con> 2 categorie suppongo che ogni spieghi la differenza tra la media di quella categoria e il riferimento. $\hat\beta_0$ $\hat\beta$

Ma cosa accadrebbe se più variabili venissero introdotte nel modello multivariabile? Ora, cosa significa l'intercettazione dato che non ha senso che sia la media per il riferimento di due variabili categoriche? Un esempio potrebbe essere se sesso (M (ref) / F) e razza (white (ref) / black) fossero entrambi in un modello. Il la media solo per i maschi bianchi? Come si interpretano altre possibilità? $\hat\beta_0$

Come nota separata: le dichiarazioni di contrasto servono come metodo per studiare la modifica dell'effetto? O semplicemente per vedere l'effetto ( ) a diversi livelli? $\hat\beta$

— Renee
fonte

Come nota terminologica, "multivariato" significa più variabili di risposta , non più variabili predittive (vedere qui ). Inoltre, non seguo la tua ultima domanda.

— gung - Ripristina Monica

Grazie per questo chiarimento. Ottenere la lingua corretta è importante per me! Suppongo che non riesco proprio a capire perché le dichiarazioni di contrasto siano utilizzate affatto dal momento che si potrebbe sempre impostare la variabile di riferimento su quella con cui si sta contrastando?

— Renee,

Immagino che potresti semplicemente ri-montare il modello con diversi livelli di riferimento. Non sono sicuro che sia più conveniente. Con i contrasti, è anche possibile specificare un insieme di contrasti ortogonali o un contrasto implicito teoricamente (una combinazione di B&C) rispetto al test.

— gung - Ripristina Monica

Risposte:

Hai ragione sull'interpretazione dei beta quando esiste una singola variabile categoriale con livelli . Se c'erano più variabili categoriali (e non c'erano termini di interazione), l'intercetta ( ) è la media del gruppo che costituisce il livello di riferimento per entrambe (tutte) le variabili categoriali. Utilizzando lo scenario di esempio, considera il caso in cui non vi è interazione, quindi i beta sono: $k$ $\hat\beta_0$

$\hat\beta_0$ : la media dei maschi bianchi
$\hat\beta_{\rm Female}$ : la differenza tra la media delle femmine e la media dei maschi
$\hat\beta_{\rm Black}$ : la differenza tra la media dei neri e la media dei bianchi

Possiamo anche pensare a questo in termini di come calcolare i vari mezzi del gruppo:

\begin{aligned} {\bar{x}}_{W h i t e M a l e s} & = {\hat{β}}_{0} \\ {\bar{x}}_{W h i t e F e m un' l e S} & = {\hat{β}}_{0} + {\hat{β}}_{F e m un' l e} \\ {\bar{X}}_{B l un' c K M un' l e S} & = {\hat{β}}_{0} + {\hat{β}}_{B l un' c K} \\ {\bar{X}}_{B l un' c K F e m un' l e S} & = {\hat{β}}_{0} + {\hat{β}}_{F e m un' l e} + {\hat{β}}_{B l un' c K} \end{aligned}

$\begin{align} &\bar x_{\rm White\ Males}& &= \hat\beta_0 \\ &\bar x_{\rm White\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} \\ &\bar x_{\rm Black\ Males}& &= \hat\beta_0 + \hat\beta_{\rm Black} \\ &\bar x_{\rm Black\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} + \hat\beta_{\rm Black} \end{align}$

Se avessi un termine di interazione, verrebbe aggiunto alla fine dell'equazione per le femmine nere. (L'interpretazione di un tale termine di interazione è piuttosto contorta, ma io la percorro qui: Interpretazione del termine di interazione .)

Aggiornamento : per chiarire i miei punti, consideriamo un esempio predefinito, codificato R.

d = data.frame(Sex  =factor(rep(c("Male","Female"),times=2), levels=c("Male","Female")),
               Race =factor(rep(c("White","Black"),each=2),  levels=c("White","Black")),
               y    =c(1, 3, 5, 7))
d
#      Sex  Race y
# 1   Male White 1
# 2 Female White 3
# 3   Male Black 5
# 4 Female Black 7

inserisci qui la descrizione dell'immagine

I mezzi yper queste variabili categoriali sono:

aggregate(y~Sex,  d, mean)
#      Sex y
# 1   Male 3
# 2 Female 5
## i.e., the difference is 2
aggregate(y~Race, d, mean)
#    Race y
# 1 White 2
# 2 Black 6
## i.e., the difference is 4

Possiamo confrontare le differenze tra questi mezzi con i coefficienti di un modello montato:

summary(lm(y~Sex+Race, d))
# ...
# Coefficients:
#             Estimate Std. Error  t value Pr(>|t|)    
# (Intercept)        1   3.85e-16 2.60e+15  2.4e-16 ***
# SexFemale          2   4.44e-16 4.50e+15  < 2e-16 ***
# RaceBlack          4   4.44e-16 9.01e+15  < 2e-16 ***
# ...
# Warning message:
#   In summary.lm(lm(y ~ Sex + Race, d)) :
#   essentially perfect fit: summary may be unreliable

La cosa da riconoscere in questa situazione è che, senza un termine di interazione, stiamo assumendo linee parallele. Pertanto, il Estimateper il (Intercept)è la media dei maschi bianchi. Il Estimatefor SexFemaleè la differenza tra la media delle femmine e la media dei maschi. Il Estimatefor RaceBlackè la differenza tra la media dei neri e la media dei bianchi. Ancora una volta, poiché un modello senza un termine di interazione presuppone che gli effetti siano strettamente additivi (le linee sono strettamente parallele), la media delle femmine nere è quindi la media dei maschi bianchi più la differenza tra la media delle femmine e la media dei maschi più la differenza tra la media dei neri e la media dei bianchi.

— gung - Ripristina Monica
fonte

Grazie! Molto chiaro e utile. Alla fine menzioni i termini di interazione. Se si fa un termine di interazione, allora come altera i beta (ovvero i nuovi beta dal modello dei termini di interazione)? So che il valore p per il termine di interazione è importante, ma il termine di interazione beta ha un'interpretazione significativa? Grazie ancora per il tuo aiuto!

— Renee,

Nel caso di un'interazione, i beta dell'effetto principale si riferiscono solo alle differenze all'interno del livello di riferimento dell'altro fattore. Ad esempio, è solo la differenza tra e .

{\hat{β}}_{F e m a l e}

$\hat\beta_{\rm Female}$

{\bar{x}}_{W h i t e M a l e}

$\bar x_{\rm White\ Male}$

{\bar{x}}_{W h i t e F e m a l e}

$\bar x_{\rm White\ Female}$

— gung - Ripristina Monica

Ha senso. Grazie! e viene alterato dal modello senza termine di interazione a causa del termine di interazione che migliora l'effetto principale? Significa che se non ci fosse interazione il termine del principale effetto sarebbe teoricamente lo stesso?

— Renee,

Se l'effetto di interazione fosse esattamente 0 (con decimali infiniti), non solo nella popolazione, ma anche nel campione, l'effetto beta principale sarebbe lo stesso in un modello senza il termine di interazione.

— gung - Ripristina Monica

@ hans0l0, sarebbe meglio come una nuova domanda piuttosto che informazioni sepolte qui nei commenti; potresti collegarti a questo per il contesto. In breve, è la media dei livelli di riferimento quando tutte le variabili continue sono = 0.

— gung - Ripristina Monica

$\hat{\beta}_0$ $\hat\beta$

Se estendiamo un po 'il tuo esempio per includere un terzo livello nella categoria di gara (diciamo asiatico ) e scegliamo White come riferimento, allora avresti:

$\hat{\beta}_0 = \bar{x}_{White}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$

$\hat{\beta}$

$\bar{x}_{Asian} = \hat{\beta}_{Asian} + \hat{\beta}_0$

Sfortunatamente nel caso di più variabili categoriali, l'interpretazione corretta dell'intercettazione non è più chiara (vedi nota alla fine). Quando ci sono n categorie, ognuna con più livelli e un livello di riferimento (ad esempio White and Male nell'esempio), la forma generale per l'intercettazione è:

{\hat{β}}_{0} = Σ_{io = 1}^{n} {\bar{X}}_{r e f e r e n c e, io} - (n - 1) \bar{X},

$\hat{\beta}_0 =∑_{i=1}^{n}\bar{x}_{reference,i} -(n-1) \bar{x} ,$

{\bar{X}}_{r e f e r e n c e, io} è la media del livello di riferimento della i-esima variabile categoriale,

$\bar{x}_{reference,i}\small{\text{ is the mean of the reference level of the i-th categorical variable,}}$

\bar{X} è la media dell'intero set di dati

$\bar{x}\small{\text{ is the mean of the whole data set}}$

$\hat\beta$

Se torniamo al tuo esempio, otterremmo:

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$
$\hat{\beta}_{Female} = \bar{x}_{Female} - \bar{x}_{Male}$

$\hat\beta$

$\hat\beta$ $\hat{\beta}_0, ~\hat{\beta}_{Black}, ~\hat{\beta}_{Asian}$ $\hat{\beta}_{Female}$

Esempio numerico

Vorrei prendere in prestito da @Gung per un esempio numerico fisso:

d = data.frame(Sex=factor(rep(c("Male","Female"),times=3), levels=c("Male","Female")),
    Race =factor(rep(c("White","Black","Asian"),each=2),levels=c("White","Black","Asian")),
    y    =c(0, 3, 7, 8, 9, 10))
d

#      Sex  Race  y
# 1   Male White  0
# 2 Female White  3
# 3   Male Black  7
# 4 Female Black  8
# 5   Male Asian  9
# 6 Female Asian 10

$\hat\beta$

aggregate(y~1,  d, mean)

#          y
# 1 6.166667

aggregate(y~Sex,  d, mean)

#      Sex        y
# 1   Male 5.333333
# 2 Female 7.000000

aggregate(y~Race, d, mean)

#    Race   y
# 1 White 1.5
# 2 Black 7.5
# 3 Asian 9.5

Possiamo confrontare questi numeri con i risultati della regressione:

summary(lm(y~Sex+Race, d))

# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)   0.6667     0.6667   1.000   0.4226
# SexFemale     1.6667     0.6667   2.500   0.1296
# RaceBlack     6.0000     0.8165   7.348   0.0180
# RaceAsian     8.0000     0.8165   9.798   0.0103

$\hat\beta$ $\hat\beta_0$

{\hat{β}}_{0} = {\bar{X}}_{W h io t e} + {\bar{X}}_{M un' l e} - \bar{X}

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$

1.5 + 5.333333 - 6.166667
# 0.66666

Nota sulla scelta del contrasto

$\hat\beta$

$\hat\beta^{contr.sum}$ $\hat\beta^{contr.sum}$

$\hat\beta_0^{contr.sum}=\bar{x}$
$\hat\beta_i^{contr.sum}=\bar{x}_i-\bar{x}$

Se torniamo all'esempio precedente, avresti:

$\hat{\beta}_0^{contr.sum} = \bar{x}$
$\hat{\beta}_{White}^{contr.sum} = \bar{x}_{White} - \bar{x}$
$\hat{\beta}_{Black}^{contr.sum} = \bar{x}_{Black} - \bar{x}$
$\hat{\beta}_{Asian}^{contr.sum} = \bar{x}_{Asian} - \bar{x}$
$\hat{\beta}_{Male}^{contr.sum} = \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Female}^{contr.sum} = \bar{x}_{Female} - \bar{x}$

$\hat\beta^{contr.sum}$

— GL
fonte