Come eseguire la regressione ortogonale (totali minimi quadrati) tramite PCA?

Uso sempre lm()in R per eseguire la regressione lineare di su . Tale funzione restituisce un coefficiente tale che $y$ $x$ $\beta$

y = β x .

$y = \beta x.$

Oggi ho imparato a conoscere i minimi quadrati totali e quella princomp()funzione (analisi dei componenti principali, PCA) può essere utilizzata per eseguirlo. Dovrebbe essere buono per me (più preciso). Ho fatto alcuni test usando princomp(), come:

r <- princomp( ~ x + y)

Il mio problema è: come interpretarne i risultati? Come posso ottenere il coefficiente di regressione? Per "coefficiente" intendo il numero che devo usare per moltiplicare il valore per dare un numero vicino a . $\beta$ $x$ $y$

— Dail
fonte

Un momento ragazzi, sono un po 'confuso. guarda: zoonek2.free.fr/UNIX/48_R/09.html Questo si chiama PCA (Analisi dei componenti principali, alias "regressione ortogonale" o "somme perpendicolari di quadrati" o "minimi quadrati totali"), quindi penso che stiamo parlando su TLS con princomp () No?

— Dail

No; queste sono due cose diverse, vedi l'articolo di Wikipedia su PCA. Il fatto che sia usato qui è un hack (non so quanto sia esatto, ma lo controllerò); ecco perché la complessa estrazione di coefficienti.

Una domanda correlata: stats.stackexchange.com/questions/2691/… e un post sul blog è referenziato da una delle risposte: cerebralmastication.com/2010/09/…

— Jonathan

Minimi quadrati ordinari vs. minimi minimi totali

Consideriamo innanzitutto il caso più semplice di una sola variabile predittore (indipendente) . Per semplicità, lascia entrambi e essere centrata, cioè intercetta è sempre zero. La differenza tra regressione OLS standard e regressione TLS "ortogonale" è chiaramente indicata su questa figura (adattata da me) dalla risposta più popolare nel thread più popolare su PCA: $x$ $x$ $y$

OLS vs TLS

OLS si adatta all'equazione minimizzando le distanze al quadrato tra i valori osservati e i valori previsti . TLS si adatta alla stessa equazione minimizzando le distanze al quadrato tra i punti e la loro proiezione sulla linea. In questo caso più semplice la linea TLS è semplicemente il primo componente principale dei dati 2D. Per trovare , esegui PCA su punti, ovvero costruisci la matrice di covarianza e trova il suo primo autovettore ; quindi . $y=\beta x$ $y$ $\hat y$ $(x,y)$ $\beta$ $(x,y)$ $2\times 2$ $\boldsymbol \Sigma$ $\mathbf v = (v_x, v_y)$ $\beta = v_y/v_x$

In Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

In R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

Tra l'altro, questo produrrà corretta pendenza anche se ed non sono stati centrati (perché funzioni incorporate PCA eseguire automaticamente centraggio). Per recuperare l'intercettazione, calcolare . $x$ $y$ $\beta_0 = \bar y - \beta \bar x$

OLS vs. TLS, regressione multipla

Data una variabile dipendente e molte variabili indipendenti (di nuovo, tutte centrate per semplicità), la regressione si adatta a un'equazioneOLS si adatta minimizzando gli errori al quadrato tra i valori osservati di e i valori previsti . TLS si adatta minimizzando le distanze al quadrato tra i punti osservati e i punti più vicini sul piano di regressione / iperpiano. $y$ $x_i$

y = β_{1} x_{1} + \dots + β_{p} x_{p} .

$y= \beta_1 x_1 + \ldots + \beta_p x_p.$

y

$y$

\hat{y}

$\hat y$

(x, y) \in R^{p + 1}

$(\mathbf x, y)\in\mathbb R^{p+1}$

Nota che non esiste più una "linea di regressione"! L'equazione sopra specifica un iperpiano : è un piano 2D se ci sono due predittori, iperpiano 3D se ci sono tre predittori, ecc. Quindi la soluzione sopra non funziona: non possiamo ottenere la soluzione TLS prendendo solo il primo PC (che è una linea). Tuttavia, la soluzione può essere facilmente ottenuta tramite PCA.

Come prima, la PCA viene eseguita su punti. Questo rese autovettori in colonne di . I primi autovettori definiscono una iperpiano dimensionale di cui abbiamo bisogno; l'ultimo autovettore (numero ) è ortogonale ad esso. La domanda è: come trasformare la base di dato dai primi autovettori nelle coefficienti. $(\mathbf x, y)$ $p+1$ $\mathbf V$ $p$ $p$ $\mathcal H$ $p+1$ $\mathbf v_{p+1}$ $\mathcal H$ $p$ $\boldsymbol \beta$

Nota che se impostiamo per tutti e solo , allora , ovvero il vettore sta nella iperpiano . D'altra parte, sappiamo che è ortogonale ad esso. dire che il loro punto prodotto deve essere zero: $x_i=0$ $i \ne k$ $x_k=1$ $\hat y=\beta_k$

(0, \dots, 1, \dots, β_{k}) \in H

$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$

H

$\mathcal H$

v_{p + 1} = (v_{1}, \dots, v_{p + 1}) ⊥ H

$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$

v_{k} + β_{k} v_{p + 1} = 0 \Rightarrow β_{k} = - v_{k} / v_{p + 1} .

$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$

In Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

In R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Di nuovo, questo produrrà sci corrette anche se ed non fosse centrato (perché funzioni incorporate PCA eseguire automaticamente centraggio). Per recuperare l'intercettazione, calcolare . $x$ $y$ $\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

Come controllo di integrità, notare che questa soluzione coincide con la precedente nel caso di un solo predittore . In effetti, quindi lo spazio è 2D, e quindi, dato che il primo autovettore PCA è ortogonale al secondo (ultimo), . $x$ $(x,y)$ $v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Soluzione a forma chiusa per TLS

Sorprendentemente, si scopre che esiste un'equazione in forma chiusa per . L'argomento che segue è tratto dal libro di Sabine van Huffel "I minimi quadrati totali" (sezione 2.3.2). $\boldsymbol \beta$

Consenti a e essere le matrici di dati centrate. L'ultimo autovettore PCA è un autovettore della matrice di covarianza di con un autovalore . Se si tratta di un autovettore, allora lo è anche . Annotare l'equazione di autovettore: $\mathbf X$ $\mathbf y$ $\mathbf v_{p+1}$ $[\mathbf X\: \mathbf y]$ $\sigma^2_{p+1}$ $-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

(\begin{matrix} X^{⊤} X & X^{⊤} y \\ y^{⊤} X & y^{⊤} y \end{matrix}) (\begin{matrix} β \\ - 1 \end{matrix}) = σ_{p + 1}^{2} (\begin{matrix} β \\ - 1 \end{matrix}),

$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$ e calcolando il prodotto a sinistra, otteniamo immediatamente quel che ricorda fortemente l'espressione OLS familiare

β_{T L S} = (X^{⊤} X - σ_{p + 1}^{2} I)^{- 1} X^{⊤} y,

$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$

β_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} y .

$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$

Regressione multipla multivariata

La stessa formula può essere generalizzata al caso multivariato, ma anche per definire cosa fa il TLS multivariato, richiederebbe un po 'di algebra. Vedi Wikipedia su TLS . La regressione OLS multivariata equivale a un gruppo di regressioni OLS univariate per ogni variabile dipendente, ma nel caso TLS non è così.

— ameba dice Reinstate Monica
fonte

Non conosco R, ma volevo comunque fornire frammenti R per riferimento futuro. Ci sono molte persone qui competenti in R. Per favore sentiti libero di modificare i miei frammenti se necessario! Grazie.

— ameba dice di reintegrare Monica il

Bel post, ma se posso chiedere cosa garantisce il fatto che il vettore trova nell'iperpiano?

(0, \dots, 1, \dots, β_{k})

$(0,\ldots, 1, \ldots, \beta_k)$

— JohnK,

@JohnK, non sono sicuro di cosa non sia chiaro. Come ho scritto, lascia che sia uguale a zero a parte . Quindi se lo inserisci in , otterrai . Quindi il punto trova sull'iperpiano definito dall'equazione .

x_{i}

$x_i$

x_{k} = 1

$x_k=1$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

y = β_{k} \cdot 1 = β_{k}

$y=\beta_k\cdot 1 = \beta_k$

(0, \dots, 1, \dots β_{k})

$(0,\ldots, 1, \ldots \beta_k)$

y = \sum β_{j} x_{j}

$y=\sum \beta_j x_j$

— ameba dice Ripristina Monica il

Mi sembra di aver letto male quella parte, ma ora è chiaro. Grazie anche per il chiarimento.

— JohnK,

In R, potresti preferire "eigen (cov (cbind (x, y))) $ vettori" rispetto a "prcomp (cbind (x, y)) $ rotazione" perché il primo è molto più veloce per i vettori più grandi.

— Thomas Browne,

Sulla base dell'implementazione ingenua di GNU Octave trovata qui , qualcosa come questo potrebbe (granello di sale, è tardi) funzionare.

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

— cashoes
fonte

princompsta eseguendo l' analisi dei componenti principali anziché la regressione dei minimi quadrati totali. Per quanto ne so non esiste alcuna funzione R né pacchetto che faccia TLS; al massimo c'è una regressione Deming in MethComp .
Tuttavia, ti preghiamo di considerare questo come un suggerimento che molto probabilmente non ne vale la pena.

Pensavo che Deming nel pacchetto MethComp fosse TLS: qual è la differenza?

— mark999,

Devi dargli il rapporto degli errori su xey; TLS puro lo ottimizza.