Pacchetto software per risolvere la regressione lineare della norma L-infinito

Esiste un pacchetto software per risolvere la regressione lineare con l'obiettivo di ridurre al minimo la norma L-infinito.

regression

— Fan Zhang
fonte

Bene, qualsiasi pacchetto di programmazione lineare funzionerebbe. Questo ti lascia con molte opzioni. :)

— cardinale

@Cardinal Come lo rifonderebbe come un programma lineare? Non è evidente come farlo anche in casi banali (come due punti dati e un parametro): non ci sono vincoli e la funzione obiettivo non è lineare.

— whuber

Frase chiave : approssimazione di Chebyshev. (Altre cose da seguire. L'idea è quella di introdurre una variabile aggiuntiva, quindi trasformare l'obiettivo in vincoli.)

— cardinale

@cardinal Intendi questo: mathworld.wolfram.com/ChebyshevApproximationFormula.html Sembra abbastanza complicato.

— Fan Zhang,

Bene, è un po 'correlato, ma non germano a questo problema. Il tuo problema può essere risolto con un semplice LP. Non appena potrò accedere a un computer, posterò una risposta.

— cardinale

Risposte:

Risposta breve : il problema può essere formulato come un programma lineare (LP), che consente di scegliere il solutore LP preferito per l'attività. Per vedere come scrivere il problema come LP, continua a leggere.

Questo problema di minimizzazione viene spesso definito approssimazione di Chebyshev .

Lascia che , con riga indicata da e . Quindi cerchiamo di minimizzare la funzione rispetto a . Indica il valore ottimale con $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$ $\X \in \reals^{n \times p}$ $i$ $\x_i$ $\b \in \reals^p$ $f(\b) = \|\y - \X \b\|_\infty$ $\b$

f^{⋆} = f (β^{⋆}) = inf {f (β) : β \in R^{p}} .

$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$

La chiave per rifondere questo come un LP è riscrivere il problema in forma epigrafica . Non è difficile convincersi che, in effetti,

f^{⋆} = inf {t : f (β) \leq t, t \in R, β \in R^{p}} .

$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$

Ora, usando la definizione della funzione , possiamo riscrivere il lato destro sopra come e quindi vediamo che minimizzare la norma in un'impostazione di regressione equivale al LP dove viene eseguita l'ottimizzazione over e indica un vettore di quelli di lunghezza . Lascio che sia un (facile) esercizio per il lettore la rifusione del precedente LP in forma standard. $f$

f^{⋆} = inf {t : - t \leq y_{i} - x_{i} β \leq t, t \in R, β \in R^{p}, 1 \leq i \leq n},

$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

ℓ_{\infty}

$\ell_\infty$

\begin{array}{ll} minimize & t \\ subject to & y - X β \leq t 1_{n} \\ y - X β \geq - t 1_{n}, \end{array}

$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$

(β, t)

$(\b, t)$

1_{n}

$\ones$

n

$n$

Relazione con la versione (variazione totale) della regressione lineare $\ell_1$

È interessante notare che qualcosa di molto simile può essere fatto con la norma . Lascia che . Quindi, argomenti simili portano a concludere che modo che l'LP corrispondente sia $\ell_1$ $g(\b) = \|\y - \X \b \|_1$

g^{⋆} = inf {t^{T} 1_{n} : - t_{i} \leq y_{i} - x_{i} β \leq t_{i}, t = (t_{i}) \in R^{n}, β \in R^{p}, 1 \leq i \leq n},

$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

\begin{array}{ll} minimize & t^{T} 1_{n} \\ subject to & y - X β \leq t \\ y - X β \geq - t . \end{array}

$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$

Nota qui che ora è un vettore di lunghezza anziché uno scalare, come nel caso . $\t$ $n$ $\ell_\infty$

La somiglianza in questi due problemi e il fatto che entrambi possano essere espressi come LP non è certo un caso. Le due norme sono correlate in quanto sono le doppie norme l' una dell'altra.

— cardinale
fonte

Come troveresti una certa precisione per i parametri e / o le previsioni? Chiedo a causa della seguente domanda recente: mathematica.stackexchange.com/questions/214226/… .

— JimB

Malab può farlo, usando cvx. per ottenere cvx (gratuito):

http://cvxr.com/cvx/download/

In cvx, lo scriveresti in questo modo:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(vedi esempio pagina 12 del manuale )

C'è un'implementazione Python di CVX ( qui ) ma i comandi sono leggermente diversi ...

— user603
fonte

La risposta di @ cardinal è ben dichiarata ed è stata accettata, ma, per motivi di chiusura completa di questo thread, offrirò quanto segue: Le Librerie numeriche IMSL contengono una routine per eseguire la regressione della norma L-infinito. La routine è disponibile in Fortran, C, Java, C # e Python. Ho usato le versioni C e Python per il quale il metodo è lnorm_regression chiamata, che supporta anche generale regressione -norm, . $L_p$ $p >= 1$

Si noti che si tratta di librerie commerciali ma le versioni di Python sono gratuite (come nella birra) per uso non commerciale.

— Josh Hemann
fonte

Sfortunatamente, il collegamento non funziona più. Potresti aggiornarlo?

— COOLSerdash