Domanda su una normale prova di equazione

Come puoi dimostrare che le equazioni normali: hanno una o più soluzioni senza supporre che X sia invertibile? $(X^TX)\beta = X^TY$

La mia unica ipotesi è che abbia qualcosa a che fare con l'inverso generalizzato, ma sono totalmente perso.

regression proof

— ryati
fonte

Ottieni punti ponendo domande che provocano risposte sorprendenti.

— Nikana Reklawyks,

Si è tentati di essere glib e di sottolinearlo perché la forma quadratica

β \to (Y - X β)^{'} (Y - X β)

$\beta \to (Y - X\beta)'(Y - X\beta)$

è semi-definito positivo, esiste un $\beta$ per il quale è minimo e tale minimo viene trovato (impostando il gradiente rispetto a $\beta$ su zero) con le equazioni normali

X^{'} X (Y - X β) = 0,

$X'X(Y - X\beta) = 0,$

quindi deve esserci almeno una soluzione indipendentemente dal rango di $X'X$ . Tuttavia, questo argomento non sembra essere nello spirito della domanda, che sembra essere un'affermazione puramente algebrica. Forse è interessante capire perché una simile equazione deve avere una soluzione e in quali condizioni. Quindi ricominciamo e fingiamo di non conoscere la connessione con i minimi quadrati.

Tutto si riduce al significato di , la trasposizione di . Ciò si rivelerà essere una semplice definizione, una notazione appropriata e il concetto di una forma sesquilinea non degenerata. Ricorda che è la "matrice di progettazione" di righe (una per ogni osservazione) e di colonne (una per ogni variabile, inclusa una costante se presente). Rappresenta quindi una trasformazione lineare dallo spazio vettoriale in . $X'$ $X$ $X$ $n$ $p$ $\mathbb V = \mathbb{R}^p$ $\mathbb W = \mathbb{R}^n$

La trasposizione di , pensata come trasformazione lineare , è una trasformazione lineare dei doppi spazi . Per dare un senso a una composizione come , quindi, è necessario identificare con . Questo è ciò che fa il solito prodotto interno (somma dei quadrati) su . $X$ $X': \mathbb{W}^* \to \mathbb{V}^*$ $X'X$ $\mathbb{W}^*$ $\mathbb{W}$ $\mathbb{W}$

Ci sono in realtà due prodotti interni e definite su e rispettivamente. Queste sono funzioni simmetriche bilineari a valore reale che non sono degenerate . Quest'ultimo significa che $g_V$ $g_W$ $\mathbb V$ $\mathbb W$

g_{W} (u, v) = 0 \forall u \in W ⟹ v = 0,

$g_W(u, v) = 0\ \forall u\in \mathbb W \implies v = 0,$

con istruzioni analoghe per . Geometricamente, questi prodotti interni ci consentono di misurare lunghezza e angolo. La condizione può essere considerata come "perpendicolare" a . La non generosità significa che solo il vettore zero è perpendicolare all'intero spazio vettoriale. (Questa generalità significa che i risultati ottenuti qui si applicheranno all'impostazione dei minimi quadrati generalizzati , per cui non è necessariamente il normale prodotto interno dato come somma dei prodotti dei componenti, ma è una forma arbitraria non . Potremmo rinunciare a tutto , definendo $g_V$ $g(u,v)=0$ $u$ $v$ $g_W$ $g_V$ $X':\mathbb W\to\mathbb V^*$ , ma mi aspetto che molti lettori non abbiano familiarità o disagio con i doppi spazi e quindi scelgono di evitare questa formulazione.)

Con questi prodotti interni in mano, il recepimento di qualsiasi trasformazione lineare da è definito da via $X: \mathbb V \to \mathbb W$ $X': \mathbb W \to \mathbb V$

g_{V} (X^{'} (w), v) = g_{W} (w, X (v))

$g_V(X'(w), v) = g_W(w, X(v))$

per tutti e . Che esiste effettivamente un vettore con questa proprietà può essere stabilito scrivendo le cose con le basi per e ; che questo vettore è unico deriva dalla non degenerazione dei prodotti interni. Se e sono due vettori per i quali per tutti , quindi (dalla linearità nel primo componente) per tutte le implicanti . $w\in \mathbb W$ $v\in \mathbb V$ $X'(w) \in \mathbb V$ $\mathbb V$ $\mathbb W$ $v_1$ $v_2$ $g_V(v_1,v)=g_V(v_2,v)$ $v\in\mathbb V$ $g_V(v_1-v_2,v)=0$ $v$ $v_1-v_2=0$

Quando scrittura per l'insieme di tutti i vettori perpendicolari a ogni vettore in . Inoltre, per notazione, scrivi per l'immagine di , definita come l'insieme . Una relazione fondamentale tra e la sua trasposizione è $\mathbb U \subset \mathbb W,$ $\mathbb{U}^\perp$ $\mathbb U$ $X(\mathbb V)$ $X$ $\{X(v) | v \in \mathbb V\} \subset \mathbb W$ $X$ $X'$

X^{'} (w) = 0 ⟺ w \in X (V)^{⊥} .

$X'(w) = 0 \iff w \in X(\mathbb V)^\perp.$

Cioè, è nel kernel di se e solo se è perpendicolare alla immagine di . $w$ $X'$ $w$ $X$ Questa affermazione dice due cose:

Se , allora per tutti , che semplicemente significa che è perpendicolare a . $X'(w) = 0$ $g_W(w, X(v)) = g_V(X'(w),v) = g_V(0,v)=0$ $v\in\mathbb V$ $w$ $X(V)$
Se è perpendicolare a , ciò significa solo per tutto , ma questo equivale a e la non di implica . $w$ $X(\mathbb V)$ $g_W(w, X(v)) = 0$ $v\in\mathbb V$ $g_V(X'(w), v) = 0$ $g_V$ $X'(w)=0$

In realtà abbiamo finito ora. L'analisi ha dimostrato che decompone come prodotto diretto . Cioè, possiamo prendere qualsiasi arbitrario e scriverlo in modo univoco come con e . Che mezzi é di forma per almeno un . Si noti, quindi, che $\mathbb W$ $\mathbb W = X(\mathbb V) \oplus X(\mathbb V)^\perp$ $y \in \mathbb W$ $y = y_0 + y^\perp$ $y_0\in X(\mathbb V)$ $y^\perp \in X(\mathbb V)^\perp$ $y_0$ $X(\beta)$ $\beta\in\mathbb V$

y - X β = (y_{0} + y^{⊥}) - y_{0} = y^{⊥} \in X (V)^{⊥}

$y - X\beta = (y_0 + y^\perp) - y_0 = y^\perp \in X(\mathbb V)^\perp$

La relazione fondamentale dice che è la stessa della parte sinistra nel kernel di : $X'$

X^{'} (y - X β) = 0,

$X'(y - X\beta) = 0,$

da cui risolve le equazioni normali $\beta$ $X'X\beta = X'y.$

Ora siamo in grado di dare una breve risposta geometrica alla domanda (insieme ad alcuni commenti rivelatori): le equazioni normali hanno una soluzione perché qualsiasi -vettore decompone (in modo univoco) come la somma di un vettore nell'intervallo e un altro vettore perpendicolare e è l'immagine di almeno un -vettore . La dimensione dell'immagine (il suo rango ) è la dimensione dei parametri identificabili . La dimensione del kernel di $n$ $y\in\mathbb W$ $y_0$ $X$ $y^\perp$ $y_0$ $y_0$ $p$ $\beta\in\mathbb V$ $X(\mathbb V)$ $X$ conta le relazioni lineari non banali tra i parametri. Tutti i parametri sono identificabili quando è una mappa uno-a-uno da alla sua immagine in . $X$ $\mathbb V$ $\mathbb W$

È infine utile erogazione con lo spazio del tutto e lavoro interamente con il sottospazio , lo "spazio colonna" della matrice . L'equazioni normali quantità di proiezione ortogonale sulla . Ciò ci libera concettualmente dall'essere legati a una particolare parametrizzazione del modello e mostra che i modelli dei minimi quadrati hanno una dimensione intrinseca indipendente dal modo in cui sono parametrizzati. $\mathbb V$ $\mathbb U = X(\mathbb V)\subset\mathbb W$ $X$ $\mathbb U$

Un risultato interessante di questa dimostrazione algebrica astratta è che possiamo risolvere le normali equazioni in spazi vettoriali arbitrari. Il risultato vale, diciamo, per spazi complessi, per spazi su campi finiti (dove minimizzare una somma di quadrati ha poco senso) e persino su spazi infiniti dimensionali che supportano opportune forme sequenziali.

— whuber
fonte

Non ho mai avuto il rappresentante di accettare questa risposta fino a molto tempo dopo. Mi sono appena imbattuto in questo e volevo ringraziarti di nuovo!

— Ryati,

Scriverei quella forma quadratica come piuttosto che come e usa l'altra freccia per cose come

β \mapsto (Y - X β)^{'} (Y - X β)

$\beta \mapsto (Y - X\beta)'(Y - X\beta)$

β \to (Y - X β)^{'} (Y - X β),

$\beta \to (Y - X\beta)'(Y - X\beta),$

f : A \to B .

$f:A\to B. \qquad$

— Michael Hardy,

@Michael Nel tuo commento deve esserci un errore tipografico. Ti dispiacerebbe chiarire cosa intendevi?

— whuber

@whuber: non trovo alcun errore tipografico. Il punto è che le due frecce e hanno significati diversi.

“ \mapsto''

$\text{“}\mapsto\text{''}$

“ \to''

$\text{“}\to\text{''}$

$\qquad$

— Michael Hardy,

@Michael Perdonami per non aver visto quella distinzione, nonostante molte letture. Indipendentemente da ciò, per me la prima freccia si riferisce a una funzione iniettiva mentre la seconda si riferisce a qualsiasi funzione, ma sospetto che non sia quello che intendi. Ti dispiacerebbe spiegare la tua notazione?

— whuber

È facile mostrare (provare da soli, per un numero arbitrario di punti, ) che esiste l'inverso di se ci sono almeno due valori distinti (predittori) nel set di campioni. Solo se tutti i tuoi dati hanno gli stessi valori (cioè punti impilati nella direzione , lungo una linea verticale), qualsiasi linea tracciata attraverso la loro media avrà una pendenza arbitraria (coefficiente di regressione) , in modo che la riga di regressione LSE non sia quindi unica. $n$ $X^T X$ $x$ $x_i=x$ $y$ $\overline{y}$

— Lucozade
fonte

Per completezza, per una regressione lineare semplice, mentre per regressione lineare multipla.

X = [1 x_{1}; 1 x_{2}; \dots; 1 x_{n}]

$X=[1 ~x_1; 1 ~x_2; \ldots; 1 ~x_n]$

X = [1 x_{11} \dots x_{m 1}; \dots; 1 x_{1 n} \dots x_{m n}]

$X=[1 ~x_{11} \ldots x_{m1}; \ldots; 1 ~x_{1n} \ldots x_{mn}]$

— Lucozade,

Il riferimento alla regressione multipla nel commento è sconcertante, poiché questa risposta si applica chiaramente solo al caso della regressione ordinaria in cui si sta adattando una "linea" anziché una superficie di dimensione superiore. Inoltre, si sembrano aver risposto a una domanda diversa: questo chiede solo per il caso in cui non è invertibile.

X^{'} X

$X'X$

— whuber

Nella regressione tipica, X è magro e quindi certamente non invertibile (anche se può essere lasciato invertibile). È semplice provare (chiedere se hai bisogno di aiuto) che se X è magro e lasciato invertibile, allora X ^ T * X è invertibile. In questo caso, ci sarà esattamente una soluzione. E se X non ha un rango di colonna completo, allora X ^ T * X non sarà di rango intero e quindi avrai un sistema indefinito.

— user542833
fonte

Queste osservazioni non sembrano rispondere alla domanda: indipendentemente dal grado di , esisterà comunque una soluzione. Ad esempio, considera il caso estremo in cui è una matrice di tutti gli zeri. Quindi le equazioni normali si riducono a e qualsiasi è una soluzione.

X^{'} X

$X'X$

X

$X$

0 β = 0

$0\beta=0$

β

$\beta$

— whuber

whuber: ovviamente rispondono alla domanda: un soln se X è il ranking di colonna completo (come ho già detto) e infinite soluzioni se si tratta di un sistema

— indefinito

Il fatto che il sistema sia "sottodeterminato" non implica che abbia delle soluzioni. La domanda riguarda l'esistenza di soluzioni.

— whuber