Interpretazione exp (B) nella regressione logistica multinomiale

Questa è in qualche modo una domanda da principiante, ma come si interpreta un risultato exp (B) di 6.012 in un modello di regressione logistica multinomiale?

1) è 6.012-1.0 = 5.012 = aumento del rischio del 5012%?

o

2) 6.012 / (1 + 6.012) = 0.857 = aumento dell'85,7% del rischio?

Nel caso in cui entrambe le alternative siano errate, qualcuno può menzionare il modo corretto?

Ho cercato molte risorse su Internet e arrivo a queste due alternative, e non sono del tutto sicuro di quale sia quella corretta.

Ci vorrà del tempo per arrivarci, ma in sintesi, una variazione di una unità nella variabile corrispondente a B moltiplicherà il rischio relativo del risultato (rispetto al risultato di base) per 6,012.

Si potrebbe esprimere questo come un aumento del "5012%" nel rischio relativo , ma è un modo confuso e potenzialmente fuorviante per farlo, perché suggerisce che dovremmo pensare in modo additivo ai cambiamenti, quando in realtà il modello logistico multinomiale ci incoraggia fortemente a pensare in modo moltiplicativo. Il modificatore "relativo" è essenziale, perché un cambiamento in una variabile sta cambiando contemporaneamente le probabilità previste di tutti i risultati, non solo quello in questione, quindi dobbiamo confrontare le probabilità (mediante rapporti, non differenze).

Il resto di questa risposta sviluppa la terminologia e l'intuizione necessarie per interpretare correttamente queste affermazioni.

sfondo

Cominciamo con la normale regressione logistica prima di passare al caso multinomiale.

Per la variabile dipendente (binaria) $Y$ e le variabili indipendenti $X_i$ , il modello è

$$\Pr[Y=1] = \frac{\exp(\beta_1 X_1 + \cdots + \beta_m X_m)}{1+\exp(\beta_1 X_1 + \cdots + \beta_m X_m)};$$

equivalentemente, assumendo ,$0 \ne \Pr[Y=1] \ne 1$

$$\log(\rho(X_1, \cdots, X_m)) = \log\frac{\Pr[Y=1]}{\Pr[Y=0]} = \beta_1 X_1 + \cdots + \beta_m X_m.$$

(Questo definisce semplicemente , che è la probabilità in funzione .)X $\rho$$X_i$

Senza alcuna perdita di generalità, indicizza modo che sia la variabile e sia la "B" nella domanda (in modo che ). Correzione dei valori di e variazione diX m β m exp ( β m ) = 6.012 X i , 1 ≤ i < m X m$X_i$$X_m$$\beta_m$$\exp(\beta_m)=6.012$$X_i, 1\le i\lt m$$X_m$ di una piccola quantità produce$\delta$

$$\log(\rho(\cdots, X_m+\delta)) - \log(\rho(\cdots, X_m)) = \beta_m \delta.$$

Pertanto, è la variazione marginale delle probabilità del registro rispetto aX $\beta_m$ $X_m$ .

Per recuperare , evidentemente dobbiamo impostareδ = $\exp(\beta_m)$$\delta=1$ ed esponenziare il lato sinistro:

$$\eqalign{ \exp(\beta_m) &= \exp(\beta_m \times 1) \\ & = \exp( \log(\rho(\cdots, X_m+1)) - \log(\rho(\cdots, X_m))) \\ & = \frac{\rho(\cdots, X_m+1)}{\rho(\cdots, X_m)}. }$$

Questo mostra come rapporto di probabilità per un aumento di una unità in . Per sviluppare un'intuizione su ciò che ciò potrebbe significare, tabula alcuni valori per una serie di probabilità iniziali, arrotondando pesantemente per far risaltare gli schemi:X $\exp(\beta_m)$$X_m$

Starting odds  Ending odds  Starting Pr[Y=1]  Ending Pr[Y=1]
0.0001         0.0006       0.0001            0.0006
0.001          0.006        0.001             0.006
0.01           0.06         0.01              0.057
0.1            0.6          0.091             0.38
1.             6.           0.5               0.9
10.            60.          0.91              1.
100.           600.         0.99              1.

Per probabilità molto piccole , che corrispondono a probabilità molto piccole , l'effetto di un aumento di una unità in è di moltiplicare le probabilità o la probabilità per circa 6,012. Il fattore moltiplicativo diminuisce con l'aumentare delle probabilità (e della probabilità), ed è sostanzialmente svanito una volta che le probabilità superano 10 (la probabilità supera 0,9).$X_m$

Come cambiamento additivo , non c'è molta differenza tra una probabilità di 0,0001 e 0,0006 (è solo 0,05%), né c'è molta differenza tra 0,99 e 1 (solo 1%). L'effetto additivo maggiore si verifica quando le probabilità sono pari a , dove la probabilità cambia dal 29% al 71%: una variazione del + 42%.$1/\sqrt{6.012} \sim 0.408$

Vediamo, quindi, che se esprimiamo "rischio" come rapporto di probabilità, = "B" ha una semplice interpretazione - il rapporto di probabilità è uguale a per un aumento di unità inβ m X $\beta_m$$\beta_m$$X_m$ --ma quando esprimiamo rischio in qualche altra moda, come un cambiamento nelle probabilità, l'interpretazione richiede attenzione per specificare la probabilità iniziale.

Regressione logistica multinomiale

(Questo è stato aggiunto come modifica successiva.)

Avendo riconosciuto il valore dell'utilizzo delle probabilità del log per esprimere le possibilità, passiamo al caso multinomiale. Ora la variabile dipendente può eguagliare una delle categorie di , indicizzata da . La probabilità relativa che sia nella categoriak ≥ 2 i = 1 , 2 , … , k $Y$$k \ge 2$$i=1, 2, \ldots, k$$i$ è

$$\Pr[Y_i] \sim \exp\left(\beta_1^{(i)} X_1 + \cdots + \beta_m^{(i)} X_m\right)$$

con parametri da determinare e scrivere per . Come abbreviazione, scriviamo l'espressione della mano destra come o, dove e sono chiari dal contesto, semplicemente . La normalizzazione per rendere tutte queste probabilità relative sommabili all'unità dà Y i Pr [ Y = categoria  i ] p i ( X , β ) X β p $\beta_j^{(i)}$$Y_i$$\Pr[Y=\text{category }i]$$p_i(X,\beta)$$X$$\beta$$p_i$

$$\Pr[Y_i] =\frac{p_i(X,\beta)}{p_1(X,\beta) + \cdots + p_m(X,\beta)}.$$

(C'è un'ambiguità nei parametri: ce ne sono troppi. Convenzionalmente, si sceglie una categoria "base" per il confronto e si obbliga a zero tutti i suoi coefficienti. Tuttavia, sebbene ciò sia necessario per riportare stime uniche dei beta, è non necessaria per interpretare i coefficienti per mantenere la simmetria -. che è, per evitare eventuali distinzioni artificiali tra le categorie - cerchiamo di non far rispettare tale vincolo se non abbiamo a).

Un modo di interpretare questo modello è quello di chiedere il tasso marginale di variazione delle probabilità del registro per qualsiasi categoria (diciamo la categoria ) rispetto a una qualsiasi delle variabili indipendenti (diciamo ). Cioè, quando cambiamo di un po ', ciò induce un cambiamento nelle probabilità del log di . Siamo interessati alla costante di proporzionalità relativa a questi due cambiamenti. La Chain Rule of Calculus, insieme a una piccola algebra, ci dice che questo è il tasso di cambiamentoX j X j Y $i$$X_j$$X_j$$Y_i$

$$\frac{\partial\ \text{log odds}(Y_i)}{\partial\ X_j} = \beta_j^{(i)} - \frac{\beta_j^{(1)}p_1 + \cdots + \beta_j^{(i-1)}p_{i-1} + \beta_j^{(i+1)}p_{i+1} +\cdots + \beta_j^{(k)}p_k}{p_1 + \cdots + p_{i-1} + p_{i+1} + \cdots + p_k}.$$

Questa ha un'interpretazione relativamente semplice come il coefficiente di nella formula per la possibilità che sia nella categoria meno un "aggiustamento". L'aggiustamento è la media ponderata in base alla probabilità dei coefficienti di in tutte le altre categorie . I pesi sono calcolati utilizzando probabilità associate con i valori attuali delle variabili indipendenti . Pertanto, la variazione marginale nei registri non è necessariamente costante: dipende dalle probabilità di tutte le altre categorie, non solo dalla probabilità della categoria in questione (categoria ). X j Y i X j X $\beta_j^{(i)}$$X_j$$Y$$i$$X_j$$X$$i$

Quando ci sono solo categorie, questo dovrebbe ridursi alla normale regressione logistica. In effetti, la ponderazione della probabilità non fa nulla e (scegliendo ) si ottiene semplicemente la differenza . Lasciando categoria essere il caso base riduce ulteriormente per , perché si costringe . Quindi la nuova interpretazione generalizza la vecchia.i = 2 β ( 2 ) j - β ( 1 ) j i β ( 2 ) j β ( 1 ) j = $k=2$$i=2$$\beta_j^{(2)} - \beta_j^{(1)}$$i$$\beta_j^{(2)}$$\beta_j^{(1)}=0$

Per interpretare direttamente , quindi, lo da un lato della formula precedente, portando a:$\beta_j^{(i)}$

Il coefficiente di per la categoria uguale alla variazione marginale delle probabilità del log della categoria rispetto alla variabile , più la media ponderata in base alla probabilità dei coefficienti di tutti gli altri per la categoria . i i X j X j ′$X_j$$i$$i$$X_j$$X_{j'}$$i$

Un'altra interpretazione, sebbene un po 'meno diretta, è data dall'impostazione (temporanea) della categoria come caso base, rendendo quindi per tutte le variabili indipendenti :β ( i ) j = 0 X $i$$\beta_j^{(i)}=0$$X_j$

Il tasso marginale di variazione delle probabilità del log del caso base per la variabile è il negativo della media ponderata in base alla probabilità dei suoi coefficienti per tutti gli altri casi.$X_j$

Per utilizzare effettivamente queste interpretazioni, in genere è necessario estrarre i beta e le probabilità dall'output del software ed eseguire i calcoli come mostrato.

Infine, per i coefficienti esponenziali, si noti che il rapporto di probabilità tra due risultati (a volte chiamato "rischio relativo" di rispetto a ) èio $i$$i'$

$$\frac{Y_{i}}{Y_{i'}} = \frac{p_{i}(X,\beta)}{p_{i'}(X,\beta)}.$$

Aumento di Let di un'unità di . Questo moltiplica per e per , da cui il rischio relativo viene moltiplicato per = . Considerando la categoria come caso base, questo si riduce a , portandoci a dire,X j + 1 p i exp ( β ( i ) j ) p i ′ exp ( β ( i ′ ) j ) exp ( β ( i ) j ) / exp ( β ( i ′ ) j ) exp ( β ( i ) j - β ( i ′ )$X_j$$X_j+1$$p_{i}$$\exp(\beta_j^{(i)})$$p_{i'}$$\exp(\beta_j^{(i')})$$\exp(\beta_j^{(i)}) / \exp(\beta_j^{(i')})$$\exp(\beta_j^{(i)}-\beta_j^{(i')})$$i'$$\exp(\beta_j^{(i)})$

Il coefficiente esponente è l'importo per il quale viene moltiplicato il rischio relativo quando la variabile viene aumentata di un'unità.$\exp(\beta_j^{(i)})$$\Pr[Y = \text{category }i]/\Pr[Y = \text{base category}]$$X_j$

Prova a considerare questo po 'di spiegazione in aggiunta a ciò che @whuber ha già scritto così bene. Se exp (B) = 6, il rapporto di probabilità associato ad un aumento di 1 sul predittore in questione è 6. In un contesto multinomiale, per "rapporto di probabilità" intendiamo il rapporto di queste due quantità: a) le probabilità ( non probabilità, ma piuttosto p / [1-p]) di un caso che assume il valore della variabile dipendente indicato nella tabella di output in questione, e b) le probabilità di un caso che assume il valore di riferimento della variabile dipendente.

Sembra che tu stia cercando di quantificare la probabilità - piuttosto che le probabilità - che un caso rientri nell'una o nell'altra categoria. Per fare ciò dovresti sapere quali sono le probabilità che il caso "abbia avuto inizio", ovvero prima di ipotizzare l'aumento di 1 sul predittore in questione. I rapporti di probabilità varieranno caso per caso, mentre il rapporto di probabilità connesso con un aumento di 1 sul predittore rimane lo stesso.

Stavo anche cercando la stessa risposta, ma quella sopra non era soddisfacente per me. Sembrava complesso per quello che è veramente. Quindi darò la mia interpretazione, per favore correggimi se sbaglio.

Leggi comunque fino alla fine, poiché è importante.

Prima di tutto i valori B ed Exp (B) sono quelli che stai cercando. Se la B è negativa, la tua Exp (B) sarà inferiore a una, il che significa che le probabilità diminuiranno. Se maggiore, l'Esp (B) sarà maggiore di 1, il che significa che le probabilità aumenteranno. Dal momento che si sta moltiplicando per il fattore Exp (B).

Purtroppo non ci sei ancora. Poiché in una regressione multinominale la variabile dipendente ha più categorie, chiamiamo queste categorie D1, D2 e ​​D3. Di cui la tua ultima è la categoria di riferimento. E supponiamo che la tua prima variabile indipendente sia il sesso (maschi contro femmine).

Diciamo che l'output per D1 -> maschi è exp (B) = 1.21, questo significa che per i maschi le probabilità aumentano di un fattore 1,21 per essere nella categoria D1 anziché D3 (categoria di riferimento) rispetto alle femmine (categoria di riferimento).

Quindi stai confrontando sempre con la categoria di riferimento delle variabili dipendenti ma anche indipendenti. Questo non è vero se si dispone di una variabile covariata. In tal caso significherebbe; un aumento di un'unità di X aumenta le probabilità di un fattore di 1,21 di essere nella categoria D1 anziché D3.

Per quelli con una variabile dipendente ordinale:

Se hai una variabile dipendente ordinale e non hai fatto una regressione ordinale a causa dell'assunzione di probabilità proporzionali, ad esempio. Tieni presente che la categoria più alta è la categoria di riferimento. I risultati come sopra sono validi per la segnalazione. Ma tieni presente che un aumento delle probabilità che in realtà significa un aumento delle probabilità di essere nella categoria inferiore anziché superiore! Ma questo è solo se hai una variabile dipendente ordinale.

Se vuoi conoscere l'aumento percentuale, prendi un numero di probabilità fittizio, diciamo 100 e moltiplicalo per 1,21 che è 121? Rispetto a 100 quanto è cambiato in percentuale?

Supponi che exp (b) in un mlogit sia 1.04. se moltiplichi un numero per 1,04, aumenta del 4%. Questo è il rischio relativo di essere nella categoria a anziché in b. Ho il sospetto che parte della confusione qui potrebbe avere a che fare con il 4% (significato moltiplicativo) e con il 4% punti (significato additivo). L'interpretazione% è corretta se parliamo di una variazione percentuale e non di una variazione del punto percentuale. (Quest'ultimo non avrebbe comunque senso in quanto i rischi relativi non sono espressi in termini di percentuali.)