Come può un vettore di variabili rappresentare un iperpiano?

Sto leggendo Elements of Statistical Learning e a pagina 12 (sezione 2.3) un modello lineare è indicato come:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... dove è la trasposizione di un vettore di colonna dei predittori / variabili / input indipendenti. (Indica in precedenza "si presume che tutti i vettori siano vettori di colonna", quindi questo non renderebbe un vettore di riga e un vettore di colonna?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

In è incluso un " " da moltiplicare per il coefficiente corrispondente dando l'intercetta (costante). $X$ $1$

Continua dicendo:

Nello spazio di input-output -dimensionale, rappresenta un iperpiano. Se la costante è inclusa in , l'iperpiano include l'origine ed è un sottospazio; in caso contrario, è un insieme affine che taglia l' asse nel punto . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

" " descrive un vettore formato dalla concatenazione dei predittori, l'intercetta " " e ? E perché includere un " " in di passare attraverso l'origine, sicuramente " " deve essere moltiplicato per ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Non riesco a capire il libro; qualsiasi aiuto / consiglio / link alle risorse sarebbe molto apprezzato.

regression references statistical-learning

— Scott
fonte

Potrebbe essere utile considerare prima . In tal caso, , con l'intercetta. Questa è l'equazione di una linea che passa . Le estensioni a dimensioni superiori sono immediate.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— Ocram,

Se l'aiuto di @ocram non è abbastanza, prova a scrivere i vettori e a moltiplicare.

— Peter Flom

Ecco una bella presentazione grafica: blog.stata.com/2011/03/03/… . La notazione è diversa, A c'è la tua X e x è .

\hat{β}

$\hat \beta$

— Dimitriy V. Masterov

Il libro è sbagliato, o almeno è incoerente. Evidentemente ci sono variabili che non includono la costante. Quindi l'insieme è effettivamente un iperpiano, ma non è corretto affermare che la costante sia "inclusa in ". Invece penso che il libro voluto dire la costante è incluso nella regressione , ma ancora non deve essere considerato parte di . Pertanto, il modello dovrebbe davvero essere scritto dove . L'impostazione di fornisce immediatamente l'asserzione sull'intercettazione.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

(Se invece includiamo la costante in , allora non possiamo lasciare che vari liberamente su tutto : è costretto a trovarsi in un sottospazio tridimensionale . Il grafico ha quindi la dimensione minima di e quindi non è in realtà un "hyperplane".)

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

Risposte:

Sia il numero di osservazioni e il numero di variabili esplicative. $N$ $K$

$X$ è in realtà una matriceSolo quando guardiamo una singola osservazione, denotiamo ogni osservazione solitamente come - un vettore di riga di variabili esplicative di un particolare scalare di osservazione moltiplicato per il vettore di colonna . Inoltre, è un vettore di colonna , contenente tutte le osservazioni . $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

$Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

$Y$ $X$ $K$ $X$ $K\!+\!1$

$X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ iperpiano dimensionale è ridotto di una dimensione in unsottospazio -dimensionale, e corrisponde all'intercetta di questopiano dimensionale. $K\!+\!1$ $K$ $\beta_1$ $K$

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$

$x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

$<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Modifica: mi sono appena reso conto che per la tua seconda domanda questo è esattamente il contrario di te che hai scritto riguadagnando l'inclusione o l'esclusione della costante. Tuttavia, ho già escogitato la soluzione qui e mi correggo se sbaglio su quella. )

So che la rappresentazione matriciale di una regressione può essere alquanto confusa all'inizio, ma alla fine semplifica molto quando deriva un'algebra più complessa. Spero che questo aiuti un po '.

— Majte
fonte

Penso che il modo di pensarci sia di riorganizzare quell'equazione:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

\hat{Y}

$\widehat{Y}$

— DWin
fonte