Qual è la relazione tra la distribuzione Beta e il modello di regressione logistica?

La mia domanda è: qual è la relazione matematica tra la distribuzione Beta e i coefficienti del modello di regressione logistica ?

Per illustrare: la funzione logistica (sigmoid) è data da

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

ed è usato per modellare le probabilità nel modello di regressione logistica. Sia $A$ un esito segnato dicotomico $(0,1)$ e $X$ una matrice di disegno. Il modello di regressione logistica è dato da

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

Nota $X$ ha una prima colonna di costante $1$ (intercetta) e $\beta$ è un vettore di colonna di coefficienti di regressione. Ad esempio, quando abbiamo un regressore (normale-normale) $x$ e scegliamo $\beta_0=1$ (intercetta) e $\beta_1=1$ , possiamo simulare la "distribuzione delle probabilità" risultante.

Questo diagramma ricorda la distribuzione Beta (così come i grafici per altre scelte di $\beta$ ) la cui densità è data da

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

Utilizzando la massima probabilità o metodi di momenti è possibile stimare e dalla distribuzione di . Quindi, la mia domanda si riduce a: qual è la relazione tra le scelte di e e ? Questo, per cominciare, risolve il caso bivariato di cui sopra. $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— Tomka
fonte

Mi stavo chiedendo questo 3 ore fa nella mia lezione di statistica bayesiana

— Alchemist

Risposte:

Beta è una distribuzione di valori nell'intervallo che è molto flessibile nella sua forma, quindi per quasi ogni distribuzione empirica unimodale di valori in puoi facilmente trovare parametri di tale distribuzione beta che "assomigliano" alla forma della distribuzione. $(0,1)$ $(0,1)$

Nota che la regressione logistica ti fornisce probabilità condizionali , mentre sul tuo diagramma ci stai presentando la distribuzione marginale delle probabilità previste. Sono due cose diverse di cui parlare. $\Pr(Y=1\mid X)$

Non esiste una relazione diretta tra i parametri di regressione logistica e i parametri della distribuzione beta quando si guarda alla distribuzione delle previsioni dal modello di regressione logistica. Di seguito puoi vedere i dati simulati usando distribuzioni normali, esponenziali e uniformi trasformate usando la funzione logistica. Oltre a utilizzare esattamente gli stessi parametri di regressione logistica (ovvero ), le distribuzioni delle probabilità previste sono molto diverse. Quindi la distribuzione delle probabilità previste dipende non solo dai parametri di regressione logistica, ma anche dalle distribuzioni di e non esiste una relazione semplice tra loro. $\beta_0 = 0, \beta_1 = 1$ $X$

Poiché beta è una distribuzione di valori in , non può essere utilizzata per modellare i dati binari come fa la regressione logistica. Può essere usato per modellare le probabilità , in questo modo utilizziamo la regressione beta (vedi anche qui e qui ). Quindi, se sei interessato al comportamento delle probabilità (inteso come variabile casuale), puoi utilizzare la regressione beta a tale scopo. $(0,1)$

— Tim
fonte

Quindi, se Beta può approssimare una tale distribuzione, non dovrebbe esserci una relazione tra i suoi parametri e

β

$\beta$

— Tomka,

@tomka ma la distribuzione dipende dalla distribuzione dei tuoi dati e dai parametri, quindi anche se esiste una relazione del genere è molto complicata. Ovviamente non esiste una relazione diretta tra i parametri di regressione e i parametri della distribuzione beta. Prova a simulare previsioni di regressione logistica con gli stessi parametri usando distribuzioni diverse per

, la distribuzione marginale differirà in ciascun caso.

X

$X$

— Tim

La distribuzione beta non è così flessibile, non può approssimare le distribuzioni multimodali.

— Marcus PS

@MarcusPS L'ho reso più chiaro.

— Tim

@MarcusPS tranne il caso speciale delle distribuzioni multimodali con modalità a 0 e 1 ...

— Ben Bolker,

La regressione logistica è un caso speciale di un modello lineare generalizzato (GLM). In questo caso particolare di dati binari, la funzione logistica è la funzione di collegamento canonico che trasforma il problema di regressione non lineare a portata di mano in un problema lineare. I GLM sono in qualche modo speciali, nel senso che si applicano solo alle distribuzioni nella famiglia esponenziale (come la distribuzione binomiale).

Nella stima bayesiana, la distribuzione Beta è il coniugato prima della distribuzione binomiale, il che significa che un aggiornamento bayesiano a un precedente beta, con osservazioni binomiali, comporterà un beta posteriore. Pertanto, se si dispone di conteggi per osservazioni di dati binari, è possibile ottenere una stima bayesiana analitica dei parametri della distribuzione binomiale utilizzando un precedente beta.

Quindi, sulla falsariga di ciò che è stato detto da altri, non penso che ci sia una relazione diretta, ma sia la distribuzione Beta che la regressione logistica hanno strette relazioni con la stima dei parametri di qualcosa che segue una distribuzione binomiale.

— Marcus PS
fonte

Ho già fatto +1 per menzionare la prospettiva bayesiana, ma noto che in caso di modello di regressione non utilizziamo il modello beta-binomiale e la distribuzione beta in generale non viene utilizzata come un precedente per i parametri - almeno nel caso della tipica logistica bayesiana regressione . Quindi questo non si traduce direttamente nel modello beta-binomiale.

— Tim

Forse non esiste una connessione diretta? La distribuzione dei dipende in gran parte la simulazione di . Se hai simulato con , avrà una distribuzione log-normale con dato . La distribuzione di $P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ può quindi essere trovato esplicitamente: con cdf $P(A=1|X)$ inverso cdf

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

e pdf

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

Puoi verificare i risultati sopra riportati in R :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— Francesco
fonte

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$ dovrebbe avere supporto solo su

[0, 1]

$[0,1]$ . In effetti il tuo

f (x)

$f(x)$ dovrebbe essere lo standard normale. In altre parole non hai ancora mostrato la distribuzione di

P (A | X)

$P(A|X)$ .

— Tomka,

@tomka Logarithm put

1 / x - 1 > 0

$1/x-1>0$ , così

x \in (0, 1)

$x\in(0,1)$ . Anche

f

$f$ non è un pdf standard normale, notare il denominatore.

— Francis

Perché il CLT avrebbe alcuna applicabilità alla distribuzione di una variabile regressor

X

$X$ ??

— whuber

@whuber: sembra che io abbia sbagliato qualcosa, ho rimosso quella parte.

— Francis,