In che modo NumPy risolve i minimi quadrati per sistemi sottodeterminati?

Diciamo che abbiamo X di forma (2, 5)
e y di forma (2,)

Questo funziona: np.linalg.lstsq(X, y)

Ci aspetteremmo che funzionasse solo se X fosse di forma (N, 5) dove N> = 5 Ma perché e come?

Restituiamo 5 pesi come previsto, ma come viene risolto questo problema?

Non è che abbiamo 2 equazioni e 5 incognite?
Come ha potuto numpy risolvere questo?
Deve fare qualcosa come l'interpolazione per creare equazioni più artificiali? ..

La mia comprensione è che numpy.linalg.lstsq si basa sulla routine dAPP di LAPACK .

Il problema è risolvere:

$$\text{minimize} (\text{over} \; \mathbf{x}) \quad \| A\mathbf{x} - \mathbf{b} \|_2$$

Naturalmente, questo non ha una soluzione unica per una matrice A il cui rango è inferiore alla lunghezza del vettore . Nel caso di un sistema indeterminato, fornisce una soluzione tale che:$\mathbf{b}$dgelsd$\mathbf{z}$

• $A\mathbf{z} = \mathbf{b}$
• $\| \mathbf{z} \|_2 \leq \|\mathbf{x} \|_2$ per tutti che soddisfano . (cioè è la soluzione di norma minima al sistema indeterminato.$\mathbf{x}$$A\mathbf{x} = \mathbf{b}$$\mathbf{z}$

Esempio, se il sistema è , numpy.linalg.lstsq restituirà .$x + y = 1$$x = .5, y = .5$

Come funziona dgelsd?

La routine dgelsdcalcola la decomposizione del valore singolare (SVD) di A.

Mi limiterò a delineare l'idea alla base dell'utilizzo di un SVD per risolvere un sistema lineare. La decomposizione del valore singolare è una fattorizzazione dove e sono matrici ortogonali e è una matrice diagonale in cui le voci diagonali sono note come valori singolari.$U \Sigma V' = A$$U$$V$$\Sigma$

Il grado effettivo della matrice sarà il numero di valori singolari che sono effettivamente diversi da zero (cioè sufficientemente diversi da zero rispetto alla precisione della macchina, ecc ...). Sia una matrice diagonale di valori singolari diversi da zero. Lo SVD è quindi:$A$$S$

$$A = U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V'$$

Lo pseudo-inverso di è dato da:$A$

$$A^\dagger = V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U'$$

Considera la soluzione . Poi:$\mathbf{x} = A^\dagger \mathbf{b}$

$$\begin{align*} A\mathbf{x} - \mathbf{b} &= U \begin{bmatrix} S & 0 \\ 0 & 0 \end{bmatrix} V' V \begin{bmatrix} S^{-1} & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b} \\ &= U \begin{bmatrix} I & 0 \\ 0 & 0 \end{bmatrix} U' \mathbf{b} - \mathbf{b}\\ \end{align*}$$

Fondamentalmente ci sono due casi qui:

1. Il numero di valori singolari diversi da zero (ovvero la dimensione della matrice ) è inferiore alla lunghezza di . La soluzione qui non sarà esatta; risolveremo il sistema lineare nel senso dei minimi quadrati.$I$$\mathbf{b}$
2. $A\mathbf{x} - \mathbf{b} = \mathbf{0}$

Quest'ultima parte è un po 'complicata ... è necessario tenere traccia delle dimensioni della matrice e utilizzare che è una matrice ortogonale.$U$

Equivalenza di pseudo-inverso

Quando ha righe linearmente indipendenti (ad es. Abbiamo una matrice grassa), allora: $A$

$$A^\dagger = A'\left(AA' \right)^{-1}$$

Per un sistema indeterminato, puoi mostrare che lo pseudo-inverso ti offre la soluzione di norma minima.

Quando ha colonne linearmente indipendenti (ad es. Abbiamo una matrice scarna), quindi: $A$

$$A^\dagger = \left(A'A \right)^{-1}A'$$