Quando viene risolta la regressione logistica in forma chiusa?

Prendi e y ∈ { 0 , 1 } e supponiamo di modellare il compito di prevedere y dato x usando la regressione logistica. Quando è possibile scrivere i coefficienti di regressione logistica in forma chiusa?$x \in \{0,1\}^d$$y \in \{0,1\}$

Un esempio è quando usiamo un modello saturo.

Cioè, definire , dove i set di indici nel gruppo di potenza di { x 1 , … , x d } e f i restituisce 1 se tutte le variabili del i 'th set sono 1, e 0 altrimenti. Poi si può esprimere ogni w ho in questo modello di regressione logistica come un logaritmo di una funzione razionale delle statistiche dei dati.$P(y|x) \propto \exp(\sum_i w_i f_i(x_i))$$i$$\{x_1,\ldots,x_d\}$$f_i$$i$$w_i$

Ci sono altri esempi interessanti quando esiste una forma chiusa?

Come ha sottolineato Kjetil B Halvorsen, è a suo modo un miracolo che la regressione lineare ammetta una soluzione analitica. E questo è solo in virtù della linearità del problema (rispetto ai parametri). In OLS, hai che ha le condizioni del primo ordine - 2

$$\sum_i (y_i - x_i' \beta)^2 \to \min_\beta,$$ Per un problema con $$-2 \sum_i (y_i - x_i'\beta) x_i = 0$$ $p$variabili (compresi costante, se necessario, ci sono alcuni regressione attraverso i problemi di origine, anche), questo è un sistema con equazioni e p incognite. Ancora più importante, è un sistema lineare, quindi puoi trovare una soluzione usando la teoria e la pratica dell'algebra lineare standard . Questo sistema avrà una soluzione con probabilità 1 a meno che tu non abbia variabili perfettamente collineari.$p$$p$

Ora, con la regressione logistica, le cose non sono più così facili. Annotando la funzione di verosimiglianza log, e prendendo la sua derivata per trovare l'MLE, otteniamo ∂

$$l(y;x,\beta) = \sum_i y_i \ln p_i + (1-y_i) \ln(1-p_i), \quad p_i = (1+\exp(-\theta_i))^{-1}, \quad \theta_i = x_i' \beta,$$ I parametri β inseriscono questo in un modo molto non lineare: per ogni i c'è una funzione non lineare e vengono sommati. Non esiste una soluzione analitica (tranne probabilmente in una situazione banale con due osservazioni, o qualcosa di simile), e bisogna usaremetodi di ottimizzazione non lineareper trovare le stime beta . $$\frac{\partial l}{\partial \beta'} = \sum_i \frac{{\rm d}p_i}{{\rm d}\theta}\Bigl( \frac{y_i}{p_i} - \frac{1-y_i}{1-p_i} \Bigr)x_i = \sum_i \Bigl[y_i-\frac1{1+\exp(x_i'\beta)}\Bigr]x_i$$ $\beta$$i$$\hat\beta$

Uno sguardo un po 'più approfondito al problema (prendendo la seconda derivata) rivela che questo è un problema di ottimizzazione convessa di trovare un massimo di una funzione concava (una parabola multivariata glorificata), quindi esiste una delle due e qualsiasi algoritmo ragionevole dovrebbe trovarla piuttosto rapidamente, o le cose esplodono all'infinito. Quest'ultimo accade alla regressione logistica quando per alcuni ${\rm Prob}[Y_i=1|x_i'\beta > c] = 1$$c$, cioè hai una previsione perfetta. Questo è un artefatto piuttosto spiacevole: si potrebbe pensare che quando si ha una previsione perfetta, il modello funziona perfettamente, ma abbastanza curiosamente, è il contrario.

Questo post era originariamente inteso come un lungo commento piuttosto che una risposta completa alla domanda in corso.

Dalla domanda, non è chiaro se l'interesse risiede solo nel caso binario o, forse, in casi più generali in cui possono essere continui o assumere altri valori discreti.

$$\mathrm{logit}( \Pr(Y_{ij} = 1) ) = \alpha_i - \alpha_j ,$$ $\alpha_i$$i$$Y_{ij} = 1$$i$$j$

$(i,j)$$\hat{\alpha}_i$ correspond to the rank order of $S_i = \sum_{j \neq i} Y_{ij}$, the sum total of times each object was preferred over another.

To interpret this, imagine a full round-robin tournament in your favorite competitive sport. Then, this result says that the Bradley–Terry model ranks the players/teams according to their winning percentage. Whether this is an encouraging or disappointing result depends on your point of view, I suppose.

NB This rank-ordering result does not hold, in general, when a full round-robin is not played.