Perché la regressione Beta / Dirichlet non è considerata un modello lineare generalizzato?

La premessa è questa citazione dalla vignetta del pacchetto R betareg¹ .

Inoltre, il modello condivide alcune proprietà (come predittore lineare, funzione di collegamento, parametro di dispersione) con modelli lineari generalizzati (GLM; McCullagh e Nelder 1989), ma non è un caso speciale di questo framework (nemmeno per dispersione fissa )

Questa risposta fa anche allusione al fatto:

[...] Questo è un tipo di modello di regressione che è appropriato quando la variabile di risposta è distribuita come Beta. Puoi considerarlo analogo a un modello lineare generalizzato. È esattamente quello che stai cercando [...] (enfatizza il mio)

Il titolo della domanda dice tutto: perché la regressione Beta / Dirichlet non è considerata un modello lineare generalizzato (no)?

Per quanto ne so, il modello lineare generalizzato definisce i modelli basati sull'aspettativa delle loro variabili dipendenti subordinate a quelle indipendenti.

$f$ è la funzione di collegamento che mappa l'aspettativa, è la distribuzione di probabilità, i risultati e i predittori, sono parametri lineari e la varianza. $g$ $Y$ $X$ $\beta$ $\sigma^2$

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

GLM diversi impongono (o rilassano) la relazione tra la media e la varianza, ma deve essere una distribuzione di probabilità nella famiglia esponenziale, una proprietà desiderabile che dovrebbe migliorare la solidità della stima se ricordo bene. Le distribuzioni Beta e Dirichlet fanno parte della famiglia esponenziale, quindi non ho idee. $g$

[1] Cribari-Neto, F., & Zeileis, A. (2009). Regressione beta in R.

generalized-linear-model beta-regression dirichlet-regression

— Firebug
fonte

(+1) Correlato: stats.stackexchange.com/a/189196 .

— ameba dice Ripristina Monica il

@amoeba Grazie per il link, non avevo mai visto prima questa domanda.

— Firebug,

Penso che il problema sia che mentre se scrivi la distribuzione beta con i parametri standard , (cioè implica uniforme (0,1)), allora la distribuzione beta è nella famiglia esponenziale, se la scrivi in termini di (media) e (dispersione), non lo è. Ma non mi è mai importato così tanto se una distribuzione appartiene alla famiglia esponenziale.

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

— Cliff AB,

@CliffAB Dopo aver letto i commenti sotto la risposta di Tim in basso sembra che la parametrizzazione della Beta porti alla non ortogonalità dei parametri, che sembra essere un requisito per i GLM McCullagh-Nelder.

— Firebug,

Penso che questa breve risposta: stats.stackexchange.com/a/18812/28666 sia pertinente e si aggiunga alle risposte qui (accennando al motivo per cui i GLM erano originariamente definiti con la famiglia di dispersione esponenziale).

— ameba dice di reintegrare Monica il

Risposte:

Controlla il riferimento originale:

Ferrari, S., e Cribari-Neto, F. (2004). Regressione beta per tassi e proporzioni di modellazione. Journal of Applied Statistics, 31 (7), 799-815.

come notano gli autori, i parametri della distribuzione beta parametrizzata sono correlati, quindi

Si noti che i parametri e non sono ortogonali, contrariamente a quanto verificato nella classe dei modelli di regressione lineare generalizzata (McCullagh e Nelder, 1989). $\beta$ $\phi$

Quindi, sebbene il modello assomigli a un GLM e cuci come un GLM, non si adatta perfettamente al framework.

— Tim
fonte

+1 ma sarebbe bello avere una risposta più dettagliata. Personalmente, non capisco la citazione (anche dopo aver aperto il documento collegato). Perché questi parametri non sono ortogonali nella regressione beta? .. Perché è necessario per i GLM? .. Ecc.

— ameba dice Reinstate Monica il

@amoeba onestamente, non sono il tipo di persona che può darti una risposta dettagliata al riguardo. Non sono mai stato così interessato alla teoria alla base dei GLM da avere una comprensione abbastanza profonda di tali sottigliezze. McCullagh e Nelder menzionano questo requisito, ma dovrei controllare il loro libro per capire perché esattamente è importante. Se qualcuno desse una spiegazione dettagliata del motivo per cui questo è un problema, prenderei in considerazione la concessione di una generosità per tale risposta.

— Tim

Il requisito di ortogonalità nei GLM è importante: significa che è possibile stimare l'equazione senza preoccuparsi di specificare erroneamente il resto della probabilità. Le stime dei parametri sono coerenti se l'equazione media sopra è specificata correttamente. L'inferenza è valida se inoltre la varianza è specificata correttamente. Tuttavia, nella regressione beta non è possibile separare le due equazioni del modello in questo modo, anche se è solo una costante. Per risultati coerenti, tutto deve essere specificato correttamente.

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

— Achim Zeileis,

@AchimZeileis Mi sono ricordato di aver visto il tuo nome su CV. Quello che dici ha perfettamente senso. Forse ti piacerebbe trasformare il tuo commento in risposta aggiungendo qualche altra logica? Come ho detto, sarei felice di assegnare la ricompensa per qualcuno che dà una risposta abbastanza dettagliata per la domanda.

— Tim

@Tim Proverò a farlo quando avrò più tempo. Ecco perché pensavo che un breve commento fosse meglio di niente ...

— Achim Zeileis,

La risposta di @probabilityislogic è sulla buona strada.

La distribuzione beta è nella famiglia esponenziale a due parametri . I semplici modelli GLM descritti da Nelder e Wedderburn (1972) non includono tutte le distribuzioni nella famiglia esponenziale dei due parametri.

In termini dell'articolo di N&W, il GLM si applica alle funzioni di densità del seguente tipo (questo fu in seguito chiamato famiglia di dispersione esponenziale a Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

con una funzione di collegamento aggiuntiva e modello lineare per il parametro naturale . $f()$ $\theta = f(\mu) = f(X\beta)$

Quindi potremmo riscrivere anche la distribuzione sopra:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (f (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

La famiglia esponenziale con due parametri è:

f (z; θ_{1}, θ_{2}) = e x p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

che sembra simile ma più generale (anche se uno dei è costante). $\theta$

La differenza è chiara, e anche mettere la distribuzione beta in una forma come GLM non è possibile.

Tuttavia, mi manca una comprensione sufficiente per creare una risposta più intuitiva e ben informata (ho la sensazione che possano esserci relazioni molto più profonde ed eleganti con una varietà di principi fondamentali). Il GLM generalizza la distribuzione dell'errore utilizzando un modello di dispersione esponenziale a singola variabile al posto di un modello dei minimi quadrati e generalizza la relazione lineare nella media, utilizzando una funzione di collegamento.

L'intuizione migliore e più semplice sembra essere la dispersione- -term nell'esponenziale, che si moltiplica con tutto e quindi la dispersione non varia con . Considerando che due famiglie di parametri esponenziali e metodi di quasi verosimiglianza, consentono anche al parametro di dispersione di essere una funzione di . $\alpha(\phi)$ $\theta$ $\theta$

— Sesto Empirico
fonte

Il secondo parametro in N&W definito df è la dispersione. Si estende l'unico parametro famiglia esponenziale naturale

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

— Sesto Empirico

@amoeba beta è una distribuzione esponenziale bivariata della famiglia, ad esempio www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

— Tim

Non sono sicuro che non sia del tutto possibile, anche con dispersione fissa. Almeno non secondo la glm come affermato da N&W (quello che so è che molte persone fanno cose molto più difficili per risolvere la regressione beta). Modificherò la risposta per mostrare cosa succede e dove va storto, se proviamo a seguire lo stesso percorso dei minimi quadrati iterativi ripesati.

— Sesto Empirico

Ho modificato la risposta in qualche modo. 1) La mia descrizione iniziale delle famiglie e dei modelli di dispersione era errata. Il GLM include tutte le distribuzioni delle famiglie esponenziali di un parametro perché non è solo quella funzione di densità, ma anche una funzione di collegamento. 2) In termini di una migliore visione intuitiva non potevo andare lontano e non mi aspetto di andare molto presto. I modelli GLM si riferiscono al modello classico in varie rappresentazioni, aggiungendo pesi alla formulazione matriciale delle procedure di adattamento, derivati delle funzioni di verosimiglianza, inclusi i termini con la funzione di collegamento e la varianza, .....

— Sextus Empiricus,

Mi sono preso la libertà di modificare un po 'la tua risposta, spero che tu stia bene con le modifiche. Inoltre, sembra che questa risposta stats.stackexchange.com/a/18812/28666 suggerisca perché N&W abbia usato questa particolare famiglia di distribuzione e non una più ampia.

— ameba dice Ripristina Monica il

Non penso che la distribuzione beta faccia parte della famiglia di dispersione esponenziale . Per ottenere questo, devi avere una densità

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

per le funzioni specificate e . La media è data come e la varianza è data come . Il parametro è chiamato parametro canonico. $c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

La distribuzione beta non può essere scritto in questo modo - un modo di vedere questo è da notare non c'è termine la probabilità di registro - ha e invece $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

Un altro modo per vedere che beta non è una famiglia di dispersione esponenziale è che può essere scritto come cui e sono indipendenti ed entrambi seguono distribuzioni gamma con lo stesso parametro di scala (e gamma è una famiglia esponenziale). $y=\frac {x}{x+z}$ $x$ $z$

— probabilityislogic
fonte

Questa risposta non è corretta come scritto. Un modo per vederlo è che, secondo la logica presentata, le distribuzioni di Bernoulli e binomiali, per esempio, non sarebbero neppure nella classe delle famiglie esponenziali.

— cardinale il

Scusa, hai ragione nel dire che l'esempio che ho dato è stato errato. (Attenzione: l'aritmetica mentale e l'uso mobile di CrossValidated possono essere pericolosi!) Tuttavia, il mio punto è ancora valido . Questa risposta è errata perché opta per un concetto molto "definito" di "famiglia esponenziale", molto più ristretto di qualsiasi fonte convenzionale o uso pratico.

— cardinale il

Hmm. Wikipedia elenca la beta nell'elenco delle distribuzioni familiari esponenziali.

— ameba dice Reinstate Monica il

Vero - Stavo pensando di naturale, famiglia esponenziale - che è un caso speciale

— probabilityislogic

Il parametro nella funzione è anche descritto da una funzione di collegamento, e quindi questa funzione di distribuzione definita in modo restrittivo diventa più ampia, comprese tutte le distribuzioni della famiglia esponenziale di un parametro, ma solo una parte della famiglia esponenziale di due parametri.

θ

$\theta$

— Sesto Empirico,