Qual è la differenza tra una "funzione di collegamento" e una "funzione di collegamento canonico" per GLM

65

Qual è la differenza tra i termini "funzione di collegamento" e "funzione di collegamento canonico"? Inoltre, ci sono dei vantaggi (teorici) nell'usare l'uno rispetto all'altro?

Ad esempio, una variabile di risposta binaria può essere modellata utilizzando molte funzioni di collegamento come logit , probit , ecc. Tuttavia, logit qui è considerata la funzione di collegamento "canonica".

logistic generalized-linear-model link-function

— steadyfish
fonte

10

Discuto ampiamente le funzioni di collegamento qui: differenza tra i modelli logit e probit , concentrandomi sulla regressione per una variabile di risposta binaria. Sebbene solo una piccola parte di quella discussione si concentri sul significato che una funzione di collegamento è "canonica", può comunque essere utile leggere. Si noti che per comprendere la distinzione b / t e i vantaggi di una funzione di collegamento canonico rispetto a quella non canonica è necessario approfondire la matematica alla base del GLiM.

— gung - Ripristina Monica

68

Le risposte sopra sono più intuitive, quindi provo più rigore.

Che cos'è un GLM?

Sia denota un insieme di una risposta e vettore di covariata dimensionale con valore atteso . Per osservazioni indipendenti, la distribuzione di ogni è una famiglia esponenziale con densità Qui, il parametro di interesse (parametro naturale o canonico) è , è un parametro di scala (noto o visto come un fastidio) e e sono funzioni note. Il $Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$ vettori tridimensionali di valori di input fissi per le variabili esplicative sono indicati da . Partiamo dal presupposto che i vettori di input influenzano (1) solo tramite una funzione lineare, il predittore lineare, da cui dipende . Come si può dimostrare che , questa dipendenza viene stabilita collegando il predittore lineare e tramite la media. Più specificamente, la media è vista come una funzione invertibile e regolare del predittore lineare, ovvero

p

$p$

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$ Ora, per rispondere alla tua domanda:

La funzione è chiamata funzione link. Se la funzione collega , e tale che , questo collegamento viene chiamato canonico e ha la forma . $g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

Questo è tutto. Quindi ci sono un certo numero di proprietà statistiche desiderabili nell'uso del collegamento canonico, ad esempio la statistica sufficiente è con componenti per , il metodo Newton e il punteggio di Fisher per trovando che lo stimatore ML coincide, questi collegamenti semplificano la derivazione dell'MLE, assicurano che alcune proprietà della regressione lineare (ad esempio, la somma dei residui sia 0) reggano o assicurano che rimanga all'interno dell'intervallo della variabile di risultato . $X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

Quindi tendono ad essere usati di default. Si noti tuttavia che non esiste un motivo a priori per cui gli effetti nel modello dovrebbero essere additivi sulla scala fornita da questo o qualsiasi altro collegamento.

— Momo
fonte

5

+1, questa è davvero una bella risposta, @Momo. Ho trovato alcune delle equazioni più difficili da leggere quando sono state sepolte nei paragrafi, quindi le ho "bloccate" usando il doppio simbolo del dollaro (ovvero $ $). Spero che sia OK (in caso contrario, è possibile eseguire il rollback, con le mie scuse).

— gung - Ripristina Monica

1

@Momo la domanda originale qui, tuttavia, include ciò che Wei ha chiesto, quindi vale la pena sottolineare che non ha ancora ricevuto una risposta chiara.

— Glen_b,

1

Spero di capire correttamente la tua confusione: nella famiglia esponenziale di cui parli, il parametro canonico è e il collegamento canonico è quando che è quando . Come anche (se si calcola il valore atteso della prima derivata rispetto a della funzione di verosimiglianza) l'unico caso in cui appare quando .

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

— Momo

1

Grazie mille. Usando l'esempio precedente, abbiamo che . Quindi . Come hai detto (ho appena riformulato), abbiamo solo se È il collegamento canonico, che è il logit. Quindi avremo . Quindi l'uguaglianza tra e il predittore esiste solo se usiamo la funzione di collegamento canonico.

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$

— Druss2k,

2

Sembra che ci sia un refuso nella frase chiave della risposta: non dovrebbe leggere "se la funzione collega e st "?

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

— Leo Alekseyev,

16

Gung ha citato una buona spiegazione: il legame canonico possiede speciali proprietà teoriche di sufficienza minima. Ciò significa che è possibile definire un modello logit condizionale (che gli economisti chiamano un modello a effetti fissi) condizionando il numero di risultati, ma non è possibile definire un modello probit condizionale, poiché non esistono statistiche sufficienti da utilizzare con il collegamento probit.

— Stask
fonte

Puoi approfondire un po 'la sufficienza minima? Con la spiegazione sopra possiamo ancora definire un modello probit, giusto? Non sarà sicuramente la funzione di collegamento canonico, ma qual è il danno nell'uso di una funzione di collegamento non canonica.

— pikachuchameleon,

9

Ecco un piccolo diagramma ispirato alla classe 18.650 del MIT che trovo abbastanza utile in quanto aiuta a visualizzare le relazioni tra queste funzioni. Ho usato la stessa notazione del post di @momo:

$\gamma(\theta)$ è la funzione di generazione del momento cumulativo
$g(\mu)$ è la funzione di collegamento

Quindi la funzione di collegamento relazione il predittore lineare con la media ed è necessario che sia monotona in aumento, continuamente differenziabile e invertibile. $g$

Il diagramma consente di spostarsi facilmente da una direzione all'altra, ad esempio:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

Funzione di collegamento canonico

Un altro modo di vedere rigorosamente ciò che Momo ha descritto rigorosamente è che quando è la funzione di collegamento canonico, la composizione della funzione è l'identità e quindi otteniamo $g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
fonte

1

Le risposte sopra hanno già coperto ciò che voglio dire. Giusto per chiarire alcuni punti come ricercatore di machine learning:

la funzione di collegamento non è altro che l'inverso della funzione di attivazione. Ad esempio, logit è l'inverso del sigmoide, probit è l'inverso della funzione di distribuzione cumulativa di gaussiana.
Se prendiamo il parametro del modello lineare generalizzato per dipendere solo da , con come vettore di peso e come input, allora la funzione di collegamento viene chiamata canonica. $w^T x$ $w$ $x$

La discussione sopra non ha nulla a che fare con la famiglia esponenziale, ma una bella discussione può essere trovata nel libro PRML di Christopher Bishop, capitolo 4.3.6.

— Guojun Zhang
fonte