Che cosa significa una "soluzione a forma chiusa"?

82

Mi sono imbattuto abbastanza spesso nel termine "soluzione a forma chiusa". Cosa significa una soluzione a forma chiusa? Come si determina se esiste una soluzione in formato stretto per un determinato problema? Cercando online, ho trovato alcune informazioni, ma nulla nel contesto dello sviluppo di un modello / soluzione statistico o probabilistico.

Capisco molto bene la regressione, quindi se qualcuno può spiegare il concetto in riferimento alla regressione o all'adattamento del modello, sarà facile da consumare. :)

— arjsgh21
fonte

4

Questa domanda sembra essere stata una sorta di calamita per risposte di bassa qualità per qualche tempo; Ho pensato che forse dovrebbe essere protetto per ora.

— Glen_b,

37

"Si dice che un'equazione sia una soluzione a forma chiusa se risolve un determinato problema in termini di funzioni e operazioni matematiche da un determinato insieme generalmente accettato. Ad esempio, una somma infinita non sarebbe generalmente considerata a forma chiusa. Tuttavia, il la scelta di cosa chiamare forma chiusa e cosa no è piuttosto arbitraria poiché una nuova funzione "forma chiusa" potrebbe essere semplicemente definita in termini di somma infinita ". --Wolfram Alpha

e

"In matematica, si dice che un'espressione è un'espressione in forma chiusa se può essere espressa analiticamente in termini di un numero finito di determinate funzioni" ben note ". In genere, queste funzioni ben note sono definite come funzioni elementari— costanti, una variabile x, operazioni elementari di aritmetica (+ - × ÷), ennesima radice, esponente e logaritmo (che comprendono quindi anche funzioni trigonometriche e funzioni trigonometriche inverse). Si dice spesso che i problemi siano trattabili se possono essere risolti in termini di un'espressione a forma chiusa ". - Wikipedia

Un esempio di una soluzione a forma chiusa in regressione lineare sarebbe l'equazione meno quadrata

\hat{β} = (X^{T} X)^{- 1} X^{T} y

$\hat\beta=(X^TX)^{-1}X^Ty$

Considerando che tutti gli scenari di regressione possono essere espressi come un problema di risoluzione di un sistema di equazioni, quando non ci sarebbe una soluzione a forma chiusa? Un problema mal posto o scarso richiederà una soluzione approssimativa, quindi è il caso in cui non esiste una soluzione in forma chiusa? Che ne dici di quando si usa la discesa del gradiente coniugato con la regolarizzazione?

— arjsgh21,

Ho trovato utile questa discussione - Link

— arjsgh21

@ arjsgh21 hai ancora bisogno di ulteriori chiarimenti su cosa significhi essere una soluzione a forma chiusa? Perché la tua nuova domanda sembra riguardare quando ci sono soluzioni (o meno) in forma chiusa nei problemi di regressione, che è un argomento completamente nuovo e che dovrebbe essere posto come una nuova domanda, secondo me.

Grazie BabakP. Penso di averlo capito ora, con riferimento alla regressione e anche in altro modo.

— arjsgh21,

1

Mi confonde il motivo per cui CrossValidated è l'unico "forum di stackexchange" che supporta costantemente risposte offuscate ma corrette rispetto a risposte che forniscono comprensione. La migliore risposta del raccolto attuale è @ Luca's, ed è poco apprezzata. È vero, fornisce solo un collegamento, ma un ottimo collegamento che è facile da capire. Questa risposta eccessivamente erudita aiuta solo a risolvere il problema per le persone che già conoscono la risposta. :(

— Mike Williamson,

17

La maggior parte delle procedure di stima prevede la ricerca di parametri che minimizzano (o massimizzano) alcune funzioni oggettive. Ad esempio, con OLS, minimizziamo la somma dei residui quadrati. Con la stima della massima verosimiglianza, massimizziamo la funzione di verosimiglianza. La differenza è banale: la minimizzazione può essere convertita in massimizzazione usando il negativo della funzione obiettivo.

A volte questo problema può essere risolto algebricamente, producendo una soluzione a forma chiusa. Con OLS, risolvi il sistema delle condizioni del primo ordine e ottieni la formula familiare (anche se probabilmente hai ancora bisogno di un computer per valutare la risposta). In altri casi, ciò non è matematicamente possibile ed è necessario cercare i valori dei parametri utilizzando un computer. In questo caso, il computer e l'algoritmo svolgono un ruolo più importante. I minimi quadrati non lineari sono un esempio. Non ottieni una formula esplicita; tutto ciò che ottieni è una ricetta che devi implementare al computer. La ricetta potrebbe iniziare con un'ipotesi iniziale di quali potrebbero essere i parametri e come potrebbero variare. Quindi prova varie combinazioni di parametri e vedi quale ti dà il valore di funzione obiettivo più basso / più alto. Questo è l'approccio della forza bruta e richiede molto tempo. Per esempio, $10^5$ combinazioni, e questo ti mette semplicemente nelle vicinanze della risposta giusta se sei fortunato. Questo approccio si chiama ricerca in griglia.

Oppure potresti iniziare con un'ipotesi e perfezionarla in qualche direzione fino a quando i miglioramenti nella funzione obiettivo non sono inferiori a qualche valore. Questi sono di solito chiamati metodi a gradiente (sebbene ce ne siano altri che non usano il gradiente per scegliere in quale direzione andare, come algoritmi genetici e ricottura simulata). Alcuni problemi come questo ti garantiscono di trovare rapidamente la risposta giusta (funzioni dell'obiettivo quadratico). Altri non danno tale garanzia. Potresti preoccuparti di esserti bloccato in un locale, piuttosto che in un globale, ottimale, quindi prova una serie di ipotesi iniziali. Potresti scoprire che parametri selvaggiamente diversi ti danno lo stesso valore della funzione obiettivo, quindi non sai quale set scegliere.

Ecco un bel modo per ottenere l'intuizione. Supponiamo di avere un semplice modello di regressione esponenziale in cui l'unico regressore è l'intercettazione:

E [y] = \exp {α}

$\begin{equation} E[y]=\exp\{\alpha\} \end{equation}$

La funzione obiettivo è

Q_{N} (α) = - \frac{1}{2 N} \sum_{i}^{N} {(y_{i} - \exp {α})}^{2}

$\begin{equation} Q_N(\alpha)=-\frac{1}{2N} \sum_i^N \left( y_i - \exp\{\alpha\} \right)^2 \end{equation}$

Con questo semplice problema, entrambi gli approcci sono fattibili. La soluzione in formato chiuso che si ottiene prendendo la derivata è . Puoi anche verificare che qualsiasi altra cosa ti dia un valore più alto della funzione obiettivo collegando invece . Se hai avuto dei regressori, la soluzione analitica esce dalla finestra. $\alpha^* = \ln \bar y$ $\ln (\bar y + k)$

— Dimitriy V. Masterov
fonte

Hai implicitamente identificato "analitico" con "forma chiusa" nell'ultima frase?

— whuber

2

Ho anche pensato: mathworld.wolfram.com/Analytic.html

— Dimitriy V. Masterov

Hai visto i commenti di chiarimento alla fine di quella pagina di MathWorld? Il problema è che nel presente contesto "analitico" può ragionevolmente essere compreso in diversi modi. Inoltre, "analitico" e "analitico" non significano esattamente la stessa cosa (proprio come "storico" e "storico" hanno significati diversi).

— whuber

Non sono consapevole che esiste una differenza tra "soluzione analitica", "soluzione analitica" e "forma chiusa". MathWorld non ha una voce separata per analitica e definisce una soluzione analitica a un problema come quella che può essere scritta in "forma chiusa" in termini di funzioni note, costanti, ecc. MW afferma che analitica e analitica sono varianti . La distinzione tra storico e storico è valida, ma non seguo ciò che ha a che fare con questo caso. Se sbaglio, per favore correggimi.

— Dimitriy V. Masterov,

2

In molti contesti matematici "analitico" è un termine preciso dell'arte applicato a qualsiasi funzione localmente esprimibile come una serie di potenze con raggio positivo di convergenza, mentre "analitico" molto più in generale è legato alla decomposibilità in parti di base. Come indicano le citazioni di BabakP, la "forma chiusa" acquisisce significato solo in un contesto di procedure generalmente accettate per combinare valori (di solito si presume che siano costituite da funzioni elementari ma non trascendentali).

— whuber

13

Penso che questo sito web fornisca una semplice intuizione, un estratto del quale è:

Una soluzione in forma chiusa (o espressione in forma chiusa) è qualsiasi formula che può essere valutata in un numero finito di operazioni standard. ... Una soluzione numerica è qualsiasi approssimazione che può essere valutata in un numero finito di operazioni standard. Le soluzioni a forma chiusa e le soluzioni numeriche sono simili in quanto entrambe possono essere valutate con un numero finito di operazioni standard. Differiscono in quanto una soluzione in forma chiusa è esatta mentre una soluzione numerica è solo approssimativa.

— Luca Bertinetto
fonte

2

Pur fornendo solo un link, questa è sicuramente la risposta più utile.

— Mike Williamson,

2

L'inclusione di Wayne di una citazione dal link ha decisamente migliorato la risposta.

— Glen_b,

2

Inoltre, il link di Luca è ora morto.

— Naramsim,

-2

Cerchi termini laici o la verbosità dolorosa che definisce rigorosamente il significato? Presumo che i termini laici possano essere trovati ovunque. Supponiamo che tu voglia la soluzione a forma chiusa della radice quadrata di 8. La soluzione a forma chiusa è 2 * (2) ^ 1/2 o due volte la radice quadrata di due. Ciò è in contrasto con la soluzione di forma non chiusa 2.8284. (vedi la radice quadrata di Wikipedia di 2 per vedere che con 69 decimali è preciso entro 1 / 10.000) Uno è assolutamente definito in termini matematici mentre l'altro no. Una soluzione a modulo chiuso fornisce una risposta esatta e quella che non è una forma chiusa è un'approssimazione, ma è possibile ottenere una soluzione a forma chiusa non più vicina a una soluzione a forma chiusa desiderata. Sembra intuitivo, ma se ne hai bisogno in modo più accurato, basta un po 'più di calcoli.

— Cheesepipe
fonte

3

Questo è un uso insolito del termine "forma chiusa". Potresti fornire un riferimento?

— whuber

1

Non sono sicuro di poter fornire sufficientemente il livello di documentazione giustificativa per vincere un dibattito su questo senza più lavoro di quello che sono disposto a presentare, ma qui va. Cerca su Wikipedia l'espressione a forma chiusa. Nelle ultime due sezioni descrive come le soluzioni in forma chiusa non sono necessariamente necessarie perché il calcolo numerico può di solito essere utilizzato con successo per arrivare a una soluzione e la sezione seguente che descrive come alcuni programmi matematici tentano di generare soluzioni in forma chiusa da valori numerici. Le soluzioni a forma chiusa sono precise (fuori dallo spazio)

— Cheesepipe

5

Wikipedia va bene come riferimento. In questo caso sembra che potresti avere "espressione di forma chiusa" unita a "numero di forma chiusa". Non significano le stesse cose.

— whuber

-2

Forma chiusa = forma chiusa (funzionale)

Chiuso significa che niente di più può andare dentro; cioè, nessuna alternativa => solo una soluzione => solo una funzione che può stabilire la relazione tra il risultato e i predittori.

— Vivek Astvansh
fonte

3

Anche questo è un uso insolito del termine. Potresti fornire alcuni esempi del suo utilizzo in questo contesto? Sono per lo più sorpreso perché spesso si sente la forma chiusa / nessuna forma chiusa per quanto riguarda gli integrali, che in realtà non hanno un risultato o predittori.

— Matt Krause,