Cosa significa "variazionale"?

L'uso di "variazionale" si riferisce sempre all'ottimizzazione tramite inferenza variazionale?

Esempi:

• "Auto-codificatore variabile"
• "Metodi bayesiani variazionali"
• "Gruppo di rinormalizzazione variazionale"

Significa usare l'inferenza variazionale (almeno per i primi due).

In breve, è un metodo per approssimare la massima probabilità quando la densità di probabilità è complicata (e quindi MLE è difficile).

Utilizza Evidence Lower Bound (ELBO) come proxy per ML:

$log(p(x)) \geq \mathbb{E}_q[log(p, Z)] - \mathbb{E}_q[log(q(Z))]$

Dove è una distribuzione più semplice su variabili nascoste (indicate con ), ad esempio gli autoencoder variazionali utilizzano la distribuzione normale sull'output dell'encoder.$q$$Z$

Il nome 'variazionale' deriva molto probabilmente dal fatto che cerca la distribuzione che ottimizza ELBO, e questa configurazione è un po 'come nel calcolo delle variazioni , un campo che studia l'ottimizzazione sulle funzioni (ad esempio, problemi come: data una famiglia di curve in 2D tra due punti, trovane una con la lunghezza più piccola).$q$

C'è un bel tutorial sull'inferenza variazionale di David Blei che puoi dare un'occhiata se vuoi una descrizione più concreta.

MODIFICARE:

In realtà quello che ho descritto è un tipo di VI: in generale potresti usare divergenze diverse (quella che ho descritto corrisponde all'uso della divergenza ). Per i dettagli, consultare questo articolo , sezione 5.2 (VI con divergenze alternative).$KL(q, p)$