Regressione logistica - Termine di errore e sua distribuzione

Sull'esistenza di un termine di errore nella regressione logistica (e nella sua presunta distribuzione), ho letto in vari punti che:

1. non esiste alcun termine di errore
2. il termine di errore ha una distribuzione binomiale (in conformità con la distribuzione della variabile di risposta)
3. il termine di errore ha una distribuzione logistica

Qualcuno può chiarire per favore?

Nella regressione lineare si presume che le osservazioni seguano una distribuzione gaussiana con un parametro medio condizionato ai valori del predittore. Se si sottrae la media dalle osservazioni si ottiene l' errore : una distribuzione gaussiana con zero medio e indipendente dai valori del predittore, ovvero gli errori in qualsiasi set di valori del predittore seguono la stessa distribuzione.

Nelle osservazioni di regressione logistica si suppone che segua una distribuzione di Bernoulli ^† con un parametro medio (una probabilità) subordinato ai valori del predittore. Quindi per ogni dato valore predittore che determina una media π ci sono solo due possibili errori: 1 - π che si verificano con probabilità π e 0 - π che si verificano con probabilità 1 - π . Per altri valori predittivi gli errori saranno 1 - π ′ che si verificano con probabilità π $y\in\{0,1\}$$\pi$$1-\pi$$\pi$$0-\pi$$1-\pi$$1-\pi'$$\pi'$, E verificano con probabilità 1 - π ′ . Quindi non esiste una distribuzione comune degli errori indipendente dai valori del predittore, motivo per cui la gente dice "non esiste alcun termine di errore" (1).$0-\pi'$$1-\pi'$

"Il termine di errore ha una distribuzione binomiale" (2) è solo sciatteria— "I modelli gaussiani hanno errori gaussiani, i modelli binomiali ergo hanno errori binomiali". (O, come sottolinea @whuber, si potrebbe intendere "la differenza tra un'osservazione e la sua aspettativa ha una distribuzione binomiale tradotta dall'aspettativa".)

"Il termine di errore ha una distribuzione logistica" (3) deriva dalla derivazione della regressione logistica dal modello in cui si osserva se una variabile latente con errori a seguito di una distribuzione logistica supera una certa soglia. Quindi non è lo stesso errore definito sopra. (Sembrerebbe strano dire IMO al di fuori di quel contesto, o senza riferimento esplicito alla variabile latente.)

† Se hai osservazioni con gli stessi valori predittivi, dando la stessa probabilità π per ciascuno, allora la loro somma ∑ y segue una distribuzione binomiale con probabilità π e no. prove k . Considerando ∑ y - k π come l'errore si ottengono le stesse conclusioni.$k$$\pi$$\sum y$$\pi$$k$$\sum y -k\pi$

Questo è stato trattato in precedenza. Un modello vincolato ad avere valori previsti in non può possibilmente avere un termine di errore aggiuntivo che farebbe andare le previsioni fuori da [ 0 , 1 ] . Pensa all'esempio più semplice di un modello logistico binario: un modello contenente solo un'intercettazione. Ciò equivale al problema di un campione di Bernoulli, spesso chiamato (in questo caso semplice) il problema binomiale perché (1) tutte le informazioni sono contenute nella dimensione del campione e nel numero di eventi o (2) la distribuzione di Bernoulli è un caso speciale della distribuzione binomiale con n = $[0,1]$$[0,1]$$n=1$. I dati grezzi in questa situazione sono una serie di valori binari e ognuno ha una distribuzione di Bernoulli con parametro sconosciuto rappresenta la probabilità dell'evento. Non esiste un termine di errore nella distribuzione di Bernoulli, c'è solo una probabilità sconosciuta. Il modello logistico è un modello di probabilità.$\theta$

Per me l'unificazione della regressione logistica, lineare, di poisson ecc. È sempre stata in termini di specificazione della media e della varianza nel quadro del modello lineare generalizzato. Iniziamo specificando una distribuzione di probabilità per i nostri dati, normale per dati continui, Bernoulli per dicotomia, Poisson per conteggi, ecc ... Quindi specifichiamo una funzione di collegamento che descrive come la media è correlata al predittore lineare:

$g(\mu_i) = \alpha + x_i^T\beta$

Per la regressione lineare, .$g(\mu_i) = \mu_i$

$g(\mu_i) = \log(\frac{\mu_i}{1-\mu_i})$

$g(\mu_i) = \log(\mu_i)$

L'unica cosa che si potrebbe considerare in termini di scrittura di un termine di errore sarebbe dichiarare:

$y_i = g^{-1}(\alpha+x_i^T\beta) + e_i$$E(e_i) = 0$$Var(e_i) = \sigma^2(\mu_i)$$\sigma^2(\mu_i) = \mu_i(1-\mu_i) = g^{-1}(\alpha+x_i^T\beta)(1-g^{-1}(\alpha+x_i^T\beta))$. But, you cannot explicitly state that $e_i$ has a Bernoulli distribution as mentioned above.

Note, however, that basic Generalized Linear Models only assume a structure for the mean and variance of the distribution. It can be shown that the estimating equations and the Hessian matrix only depend on the mean and variance you assume in your model. So you don't necessarily need to be concerned with the distribution of $e_i$ for this model because the higher order moments don't play a role in the estimation of the model parameters.

1. No errors exist. We are modeling the mean! The mean is just a true number.
2. This doesn't make sense to me.
3. Think the response variable as a latent variable. If you assume the error term is normally distributed, then the model becomes a probit model. If you assume the distribution of the error term is logistic, then the model is logistic regression.