Studi sistematici sulla somma dei polinomi quadratici al quadrato

Mi chiedo se esistano studi sistematici su somme di forme quadratiche al quadrato, simili alle forme quadratiche, che si riflettono praticamente nella decomposizione degli autovalori (che ha enormi implicazioni pratiche). Coppia di esempi relativi all'importanza della domanda.

1. Analisi delle componenti principali (PCA) . Dato un insieme di punti $x_i \in \mathbb{R^n}, i=1..k$ trova l'insieme degli assi $u_1$ , ... $u_m$ , scritto come matrice $U \in \mathbb{R^n x R^m}$ , e le proiezioni $\xi_1$ , ... , $\xi_k, \xi_{\circ} \in \mathbb{R^m}$ che minimizza la varianza inspiegabile, ovvero risolve il seguente problema di ottimizzazione quartica

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   Per magia della simmetria ha la soluzione per decomposizione di valore singolare

2. PCA generalizzato . Come per PCA, ma ora esiste una matrice di precisione $A_i \in \mathbb{R^n x R^n}$ associata a ciascun osservabile $x_i$ . Il problema diventa più complicato

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (quando tutti AI sono matrice identità questo problema è equivalente a PCA, quando A i = A j , ∀ i , j , e diagonali è PCA pesata). Questo problema può anche essere risolto in tempo polinomiale tramite la programmazione semi-definita (SDP) - Poiché la soluzione ha la forma di somme di quadrati, da NZ Shor (1987) è un problema convesso e la tesi di Parillo (2000) fornisce una pratica modo per calcolarlo tramite SDP ◻$A_i$$A_i = A_j, \forall i,j$$\square$

$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$$p$ non può essere rappresentato come una somma di quadrati di polinomi quadratici, oltre a ciò.

Mi chiedo se qualcuno abbia reso studi sistematici sui polinomi rappresentabili dalla somma dei quadrati dei polinomi quadratici.

Per quanto ne so, non esiste un tale studio; inoltre, senza alcuni progressi non banali nella tecnologia dei problemi di somma dei quadrati (SOS), al momento non è chiaro quale sarebbe il beneficio immediato di tale studio. (Mi concentrerò sulla connessione SOS poiché, per quanto ne so, è il modo migliore per risolvere questi problemi quartici generali.) Questa affermazione dovrebbe essere presa in una luce positiva: credo che ci sia molta profondità di ricerca intorno questi problemi. Sostenerò la mia affermazione in alcuni modi, si spera in modi che le persone trovano utili.

In primo luogo, per i problemi più elementari del tipo discusso, la connessione SVD offre un risolutore molto migliore rispetto alla scatola nera SOS; in particolare, quest'ultimo un SDP con termini , dove è il numero totale di variabili nel problema di ottimizzazione della sorgente (ad esempio, il numero totale di elementi in tutte le matrici sconosciute; vedere dove ho preso questi numeri, vedi la lezione 10 del corso di Pablo Parrilo del 2006: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / lecture-notes / lecture_10.pdf ). Questo è un SDP che non vorresti mai risolvere (il tempo di esecuzione dipende da come$\binom{n+2}{2}$$n$$n$$n^{6}$usando un risolutore di punti interni?), specialmente se confrontato con la ridicola velocità di un risolutore SVD (usando una notazione coerente, SVD sarà qualcosa come ; puoi confondere i miei calcoli monitorando il numero di colonne, righe e rango target, ma è un disastro, non importa come si corregge la mia negligenza). Allo stesso modo, se hai progettato un algoritmo specializzato per risolvere i problemi SOS in cui il massimo grado all'interno di qualsiasi polinomio è due: questo sarebbe sorprendente, e quindi il tipo di indagine che cerchi avrebbe molto valore.$\mathcal O(n^{1.5})$

In secondo luogo, poiché la formulazione di base di questi problemi è fuori dalla finestra, ci si potrebbe chiedere se alcune varianti di questi problemi siano ben gestite dai solutori di SOS. Come esempio importante, considera il problema NMF (fattorizzazione a matrice non negativa), in cui le incognite della matrice su cui stai ottimizzando (nella tua formulazione sopra) devono ora avere voci non negative. Sfortunatamente, se prendi l'SDP standard usato per risolvere questi problemi (vedi ad esempio le note di Pablo Parrilo dall'alto), non c'è modo di introdurre questi vincoli. (E poiché alcune formulazioni dei problemi risultanti sono NP-difficili, ora si dovrebbe costruire uno schema di approssimazione; cioè, questo può diventare brutto.) Inoltre, ci sono lavori recenti che hanno sfruttato la struttura polinomiale di questo problema per costruire solutori con alcuni garanzie: vedihttp://arxiv.org/abs/1111.0952 di Arora, Ge, Kannan e Moitra. Costruiscono alcuni algoritmi, tuttavia quando risolvono un problema NMF "esatto" (dove esiste una fattorizzazione esatta, ovvero uno che dà un valore obiettivo 0), non usano un risolutore SOS: usano un risolutore che verifica la fattibilità di "semi -algebraic sets ", un problema di ottimizzazione molto più difficile che consente i tipi di vincoli che NMF solleva, ma ora con tempo di esecuzione esponenziale.

Comunque, per riassumere e dare qualche ulteriore prospettiva; dato che SOS è l'unico risolutore dei problemi quartici di cui parli (ovvero, non penso che esista un risolutore quartico specializzato), ho discusso di come questi solutori abbiano alternative migliori per i tipi di problemi quartici a cui le persone si preoccupano. Per utilizzare efficacemente gli strumenti SOS qui, dovresti o costruire un risolutore straordinario per il caso quartico (polinomi interni di grado al massimo 2), o dovresti trovare un modo per aggiungere vincoli a questi problemi. Altrimenti, la connessione ai problemi di SOS, sebbene affascinante, non ti dà molto.

Dici anche che sei sorpreso che la letteratura che hai trovato non crei questa connessione. Penso che ciò sia dovuto principalmente alla novità dei solutori di SOS pratici (anche se la considerazione astratta dei problemi di SOS risale molto lontano), e ciò che ho detto sopra. In effetti, quando ho scoperto per la prima volta i solutori di SOS, è stato tramite gli appunti e le carte di Parrilo, e allo stesso modo mi sono chiesto: "perché non sta parlando di problemi di tipo PCA"? Poi ho controllato i fatti sopra e ho aggrottato le sopracciglia molto. Penso che sia anche un brutto segno che Parrilo stesso non abbia discusso, per quanto posso dire / scremato, di questi problemi al di fuori del riferimento che lei menziona nella sua tesi (nel frattempo, ha documenti su varie estensioni e ho molto rispetto per il suo lavoro in questo campo: deve aver pensato a questi problemi quartici specifici molte volte.http://arxiv.org/abs/1111.1498 ).