Regressione lineare multivariata rispetto a diversi modelli di regressione univariata

Nelle impostazioni di regressione univariata, proviamo a modellare

dove un vettore di osservazioni e la matrice di progettazione con predittori. La soluzione è . n X ∈ R n × m m β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^n$$n$$X \in \mathbb{R}^{n \times m}$$m$$\beta_0 = (X^TX)^{-1}Xy$

Nelle impostazioni di regressione multivariata, proviamo a modellare

dove è una matrice di osservazioni e variabili variabili latenti. La soluzione è . n p β 0 = ( X T X ) - 1 X $y \in \mathbb{R}^{n \times p}$$n$$p$$\beta_0 = (X^TX)^{-1}XY$

La mia domanda è come è diverso da quello che l'esecuzione di diversa regressione lineare univariata? Ho letto qui che in quest'ultimo caso prendiamo in considerazione la correlazione tra le variabili dipendenti, ma non la vedo dalla matematica.$p$

Nella cornice della regressione lineare multivariata classica, abbiamo il modello:

dove rappresenta le variabili indipendenti, rappresenta più variabili di risposta e è un termine iid gaussiano. Il rumore ha una media zero e può essere correlato tra le variabili di risposta. La soluzione di massima verosimiglianza per i pesi è equivalente alla soluzione dei minimi quadrati (indipendentemente dalle correlazioni del rumore) [1] [2]:Y $X$$Y$$\epsilon$

Ciò equivale a risolvere in modo indipendente un problema di regressione separato per ciascuna variabile di risposta. Questo può essere visto dal fatto che la colonna di (contenente i pesi per la variabile di output) può essere ottenuta moltiplicando per th colonna di (contenente i valori della variabile di risposta).p i ( X T X ) - 1 X T i Y $i$$\hat{\beta}$$i$$(X^T X)^{-1} X^T$$i$$Y$$i$

Tuttavia, la regressione lineare multivariata differisce dalla risoluzione separata dei singoli problemi di regressione poiché le procedure di inferenza statistica spiegano le correlazioni tra le variabili a risposta multipla (ad es. Vedere [2], [3], [4]). Ad esempio, la matrice di covarianza del rumore viene visualizzata nelle distribuzioni di campionamento, nelle statistiche dei test e nelle stime degli intervalli.

Un'altra differenza emerge se permettiamo a ciascuna variabile di risposta di avere il proprio set di covariate:

dove rappresenta la I variabile di risposta e X i e ϵ i rappresentano il suo corrispondente set di covariate e termine di rumore. Come sopra, i termini del rumore possono essere correlati tra le variabili di risposta. In questa impostazione, esistono stimatori che sono più efficienti dei minimi quadrati e non possono essere ridotti per risolvere problemi di regressione separati per ciascuna variabile di risposta. Ad esempio, vedere [1].$Y_i$$i$$X_i$$\epsilon_i$

Riferimenti

1. Zellner (1962) . Un metodo efficiente per stimare regressioni e test apparentemente non correlati per il bias di aggregazione.
2. Helwig (2017) . Regressione lineare multivariata [diapositive]
3. Fox e Weisberg (2011) . Modelli lineari multivariati in R. [Appendice: un compagno R alla regressione applicata]
4. Maitra (2013) . Modelli di regressione lineare multivariata. [Slides]