La probabilità di log in GLM ha garantito la convergenza ai massimi globali?

Le mie domande sono:

I modelli lineari generalizzati (GLM) sono garantiti per convergere ad un massimo globale? Se è così, perché?
Inoltre, quali sono i vincoli sulla funzione di collegamento per assicurare la convessità?

La mia comprensione dei GLM è che massimizzano una funzione di probabilità altamente non lineare. Immagino quindi che ci siano diversi massimi locali e il set di parametri in cui converti dipende dalle condizioni iniziali dell'algoritmo di ottimizzazione. Tuttavia, dopo aver fatto qualche ricerca non ho trovato una singola fonte che indica che ci sono più massimi locali. Inoltre, non conosco molto bene le tecniche di ottimizzazione, ma so che il metodo Newton-Raphson e l'algoritmo IRLS sono molto inclini ai massimi locali.

Per favore, spiega se possibile sia su base intuitiva che matematica!

EDIT: dksahuji ha risposto alla mia domanda originale, ma voglio aggiungere la domanda di follow-up [ 2 ] sopra. ("Quali sono i vincoli sulla funzione di collegamento per assicurare la convessità?")

— DankMasterDan
fonte

Penso che alcune restrizioni debbano essere richieste prima che ciò sia possibile. Qual è la fonte per l'affermazione?

— Glen_b -Restate Monica

Diversi siti sembravano implicarlo, ma non sono riuscito a trovare nulla che lo menzionasse in modo definitivo, quindi accolgo con favore la sua confusione!

— DankMasterDan

fintanto che la probabilità è ben definita ovunque nel dominio (e ignorando alcune questioni numeriche tangenziali) penso di sì. In queste condizioni, l'assia è <0 ovunque nel dominio, quindi la somiglianza è concava a livello globale. A proposito, la funzione non è "altamente non lineare" nei parametri ed è questo che conta.

— user603

@ user603 qual è la tua fonte / prova che l'hessian è <0 ovunque?

— DankMaster,

Le regressioni logistiche, di Poisson e di Gauss sono spesso convesse con una "buona" funzione di collegamento. Tuttavia, con la funzione di collegamento arbitrario, non sono convessi.

— Memming del

La definizione di famiglia esponenziale è:

p (x | θ) = h (X) \exp (θ^{T} φ (X) - UN (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

dove è la funzione di partizione del registro. Ora si può dimostrare che le seguenti tre cose valgono per il caso 1D (e si generalizzano a dimensioni superiori: è possibile esaminare le proprietà delle famiglie esponenziali o la partizione del registro): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

Il risultato di cui sopra dimostra che è convesso (poiché è semidefinito positivo). Ora diamo un'occhiata alla funzione di probabilità per MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

Ora è lineare in theta e è concavo. Pertanto, esiste un massimo globale unico. $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

Esiste una versione generalizzata chiamata famiglia esponenziale curva che sarebbe simile. Ma la maggior parte delle prove sono in forma canonica.

— dksahuji
fonte

questo significa che GLM ha un unico nomatter minimo globale quale funzione di collegamento viene scelta (comprese quelle non canoniche)?

— DankMasterDan

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

Si noti che la domanda si pone sulla convergenza, piuttosto che sulla sola esistenza, ma con alcune restrizioni, anche questo potrebbe essere fattibile.

— Glen_b -Restate Monica,

@Glen_b Puoi elaborare? Non conosco tali restrizioni. Forse qualcosa come le restrizioni sulla dimensione graduale in un ottimizzatore basato sul gradiente per garantire la convergenza in caso di funzione concava.

— dksahuji,

@Glen_b Questo potrebbe essere vero in generale, ma non sono in grado di vedere alcun motivo per la funzione concava di non convergere in optima entro un piccolo valore tollerabile. Ma direi che non ho alcuna esperienza pratica con questi e ho appena iniziato. :)

— dksahuji,