Posso usare gli algoritmi glm per fare una regressione logistica multinomiale?

14

Sto usando Spotfire (S ++) per l'analisi statistica nel mio progetto e devo eseguire la regressione logistica multinomiale per un set di dati di grandi dimensioni. So che il miglior algoritmo sarebbe stato mlogit, ma sfortunatamente non è disponibile in s ++. Tuttavia, ho un'opzione di utilizzare l'algoritmo glm per questa regressione. Voglio chiarire due cose qui:

1. La mia comprensione è corretta che glm può anche essere usato per eseguire la regressione logistica multinomiale?

Se la risposta alla domanda precedente è sì, quali parametri utilizzare in glm algo?

Grazie,

generalized-linear-model logistic

— Raghvendra
fonte

9

Sì, con un Poisson GLM (modello lineare log) è possibile montare modelli multinomiali. Quindi i modelli di Poisson logistici multinomiali o log lineari sono equivalenti.

È necessario visualizzare i conteggi casuali $y_{ij}$ come variabili casuali di Poisson con mezzi $μ_{ij}$ e specificare quanto segue il seguente modello log-lineare

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Per ottenere un modello logit multinomiale i parametri sono:

Un parametro per ogni osservazione multinomiale, ad esempio individui o gruppi. Ciò assicura la riproduzione esatta dei denominatori multinomiali e stabilisce effettivamente l'equivalenza di Poisson e del modello multinomiale. Sono fissati nella probabilità multinomiale, ma casuali nella probabilità di Poisson. $p_i$

Un parametro per ciascuna categoria di risposta. In questo modo i conteggi possono essere diversi per ciascuna categoria di risposta e i margini possono essere non uniformi. $c_j$

Ciò a cui sei veramente interessato sono i termini di interazione che rappresentano gli effetti di sulle probabilità del log della risposta . $x_iβ_j$ $x_i$ $j$

Le probabilità del log possono essere semplicemente calcolate da . Sono le probabilità del log che l'osservazione cadrà nella categoria di risposta j rispetto alla categoria di risposta . $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

Quindi, i parametri nel modello logit multinomiale (indicato con lettere latine) possono essere ottenuti come differenze tra i parametri nel corrispondente modello log-lineare, ovvero e . $a_j = α_j-α_k$ $b_j = β_j-β_k$

— Momo
fonte

Grazie Momo. Questo è davvero utile. Il mio software mi offre la possibilità di scegliere Family come "possion" e Link come "log" durante l'esecuzione dell'alogoritmo GLM. Quindi penso che sia esattamente ciò che è richiesto qui.

— Raghvendra,

7

Sì, è possibile, e in effetti questo è esattamente ciò che fa il pacchetto R GLMNET per la regressione logistica multinomiale. Scrivere la funzione di verosimiglianza come:

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

Dove indica osservazioni indica le categorie multinomiali è il conteggio osservato per l'osservazione nella categoria . Le osservazioni sono definite dalle loro uniche combinazioni di covariate - o in alternativa possiamo consentire duplicati e impostare ciascuno modo da avere dati "binari" categorici (.... non sappiamo quale sia il plurale di binario .. ..). Per la regressione logistica le probabilità sono definite come: $i$ $c$ $n_{ic}$ $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

Si tratta di una parametrizzazione non completa e può essere utile se si utilizza una probabilità penalizzata (come GLMNET). In linea di principio potremmo usare IRLS / newton rhapson sulla matrice beta completa , tuttavia si finisce con matrici di peso non diagonali. In alternativa, possiamo ottimizzare lo "stile di Gibbs" fissando tutte le categorie beta ad eccezione di una e quindi ottimizzando appena sopra quella categoria. Quindi passare alla categoria successiva e così via. Puoi vederlo perché le probabilità hanno il modulo $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

Che l'quadratica espansione merito avrà la stessa forma di regressione logistica, ma con le IRLS pesi calcolati in modo diverso - anche se abbiamo ancora nel solito aggiornamento della beta. $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— probabilityislogic
fonte

Sto cercando di implementare la regressione logistica multinomiale usando la variante IRLS QR Newton. Il codice funziona per altri modelli GLM, ma non è stato in grado di far funzionare mlogit. Il

sarebbe il giacobino della funzione softmax che mi consentirebbe di calcolare il Cholesky solo una volta per iterazione piuttosto che

volte per risolvere per ogni serie di pesi per risultato?

W

$W$

k

$k$

— José Bayoán Santiago Calderón,

β

$\beta$

p

$p$

X

$X$

p k

$pk$

p

$p$