Notazione matriciale per la regressione logistica

Nella regressione lineare (perdita quadrata), usando la matrice abbiamo una notazione molto concisa per l'obiettivo

minimize ‖ A x - b ‖^{2}

$\text{minimize}~~ \|Ax-b\|^2$

Dove $A$ è la matrice di dati, $x$ è i coefficienti e $b$ è la risposta.

Esiste una notazione matriciale simile per l'obiettivo di regressione logistica? Tutte le notazioni che ho visto non possono eliminare la somma su tutti i punti di dati (qualcosa come $\sum_{\text data} \text{L}_\text{logistic}(y,\beta^Tx)$ ).

EDIT: grazie per joceratops e la grande risposta di AdamO. La loro risposta mi ha aiutato a capire che un'altra ragione per cui la regressione lineare ha una notazione più concisa è perché la definizione della norma, che incapsula il quadrato e la somma o $e^\top e$ . Ma nella perdita logistica, non esiste tale definizione, il che rende la notazione un po 'più complicata.

— Haitao Du
fonte

Risposte:

Nella regressione lineare, la soluzione Maximize Likelihood Estimation (MLE) per la stima di $x$ ha la seguente soluzione in forma chiusa (supponendo che A sia una matrice con il valore di colonna completo):

{\hat{x}}_{lin} = \underset{x}{argmin} ‖ A x - b ‖_{2}^{2} = (A^{T} A)^{- 1} A^{T} b

$\hat{x}_\text{lin}=\underset{x}{\text{argmin}} \|Ax-b\|_2^2 = (A^TA)^{-1}A^Tb$

Questo viene letto come "trova la che minimizza la funzione obiettivo, ". La cosa bella di rappresentare la funzione dell'obiettivo di regressione lineare in questo modo è che possiamo tenere tutto in notazione matriciale e risolvere a mano . Come accenna Alex R., nella pratica spesso non consideriamo direttamente perché è inefficiente dal punto di vista computazionale e spesso non soddisfa i criteri di rango intero. Invece, ci rivolgiamo allo pseudoinverso di Moore-Penrose . I dettagli della risoluzione computazionale per lo pseudo-inverso possono comportare la decomposizione di Cholesky o la decomposizione del valore singolare. $x$ $\|Ax-b\|_2^2$ $\hat{x}_\text{lin}$ $(A^TA)^{-1}$ $A$

In alternativa, la soluzione MLE per stimare i coefficienti nella regressione logistica è:

{\hat{x}}_{log} = \underset{x}{argmin} \sum_{i = 1}^{N} y^{(i)} \log (1 + e^{- x^{T} a^{(i)}}) + (1 - y^{(i)}) \log (1 + e^{x^{T} a^{(i)}})

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \sum_{i=1}^{N} y^{(i)}\log(1+e^{-x^Ta^{(i)}}) + (1-y^{(i)})\log(1+e^{x^T a^{(i)}})$

dove (supponendo che ogni campione di dati sia archiviato per riga):

$x$ è un vettore che rappresenta i coefficienti di regressione

$a^{(i)}$ è un vettore che rappresenta campione / riga nella matrice di dati $i^{th}$ $A$

$y^{(i)}$ è uno scalare in e l' etichetta corrispondente al campione $\{0, 1\}$ $i^{th}$ $i^{th}$

$N$ è il numero di campioni di dati / numero di righe nella matrice dei dati . $A$

Ancora una volta, questo viene letto come "trova la che minimizza la funzione obiettivo". $x$

Se lo desideri, puoi fare un ulteriore passo avanti e rappresentare nella notazione matriciale come segue: $\hat{x}_\text{log}$

{\hat{x}}_{log} = \underset{x}{argmin} [\begin{matrix} 1 & (1 - y^{(1)}) \\ ⋮ & ⋮ \\ 1 & (1 - y^{(N)}) \end{matrix}] [\begin{matrix} \log (1 + e^{- x^{T} a^{(1)}}) & . . . & \log (1 + e^{- x^{T} a^{(N)}}) \\ \log (1 + e^{x^{T} a^{(1)}}) & . . . & \log (1 + e^{x^{T} a^{(N)}}) \end{matrix}]

$\hat{x}_\text{log} = \underset{x}{\text{argmin}} \begin{bmatrix} 1 & (1-y^{(1)}) \\ \vdots & \vdots \\ 1 & (1-y^{(N)})\\\end{bmatrix} \begin{bmatrix} \log(1+e^{-x^Ta^{(1)}}) & ... & \log(1+e^{-x^Ta^{(N)}}) \\\log(1+e^{x^Ta^{(1)}}) & ... & \log(1+e^{x^Ta^{(N)}}) \end{bmatrix}$

ma non guadagni nulla facendo questo. La regressione logistica non ha una soluzione in forma chiusa e non ottiene gli stessi vantaggi della regressione lineare rappresentandola nella notazione matriciale. Per risolvere per vengono utilizzate tecniche di stima come la discesa del gradiente e il metodo Newton-Raphson. Utilizzando alcune di queste tecniche (es. Newton-Raphson), viene approssimato ed è rappresentato in notazione matriciale ( vedi link fornito da Alex R. ). $\hat{x}_\text{log}$ $\hat{x}_\text{log}$

— joceratops
fonte

Grande. Grazie. Penso che la ragione per cui non abbiamo qualcosa come risolvere è la ragione per cui non facciamo più quel passo per rendere la notazione a matrice ed evitare il simbolo della somma.

A^{⊤} A x = A^{⊤} b

$A^\top A x=A^\top b$

— Haitao Du,

Abbiamo un certo vantaggio nel fare un ulteriore passo avanti, trasformandolo in una moltiplicazione matriciale renderebbe il codice più semplice e in molte piattaforme come Matlab, poiché il ciclo con la somma su tutti i dati è molto più lento delle operazioni con le matrici.

— Haitao Du,

@ hxd1011: solo un piccolo commento: ridurre alle equazioni di matrice non è sempre saggio. Nel caso di , non dovresti effettivamente cercare la matrice inversa , ma piuttosto fare qualcosa come una decomposizione di Cholesky che sarà molto più veloce e numericamente stabile. Per la regressione logistica, esistono diversi schemi di iterazione che utilizzano effettivamente i calcoli di matrice. Per un'ottima recensione, consultare qui: research.microsoft.com/en-us/um/people/minka/papers/logreg/…

A^{T} A x = A^{T} b

$A^TAx=A^Tb$

A^{T} A

$A^TA$

— Alex R.

@AlexR. Grazie mille. Ho imparato che l'uso dell'equazione normale farà quadrare il numero condizionale della matrice. E QR o Cholesky sarebbero molto meglio. Il tuo link è fantastico, tale recensione con metodi numerici è sempre quello che volevo.

— Haitao Du,

La risposta di @joceratops si concentra sul problema dell'ottimizzazione della massima probabilità di stima. Questo è davvero un approccio flessibile che è suscettibile di molti tipi di problemi. Per stimare la maggior parte dei modelli, compresi i modelli di regressione lineare e logistica, esiste un altro approccio generale basato sul metodo di stima dei momenti.

Lo stimatore della regressione lineare può anche essere formulato come radice dell'equazione di stima:

0 = X^{T} (Y - X β)

$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$

A questo proposito, è visto come il valore che recupera un residuo medio di 0. Non è necessario fare affidamento su alcun modello di probabilità sottostante per avere questa interpretazione. Tuttavia, è interessante fare derivare le equazioni del punteggio per una normale probabilità, vedrai infatti che assumono esattamente la forma mostrata sopra. Massimizzare la probabilità di una famiglia esponenziale regolare per un modello lineare (ad es. Regressione lineare o logistica) equivale a ottenere soluzioni alle loro equazioni di punteggio. $\beta$

0 = \sum_{i = 1}^{n} S_{i} (α, β) = \frac{\partial}{\partial β} \log L (β, α, X, Y) = X^{T} (Y - g (X β))

$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$

Dove ha previsto il valore . Nella stima GLM, si dice che sia l'inverso di una funzione di collegamento. Nelle equazioni di verosimiglianza normali, è la funzione di identità e nella regressione logistica è la funzione di logit. Un approccio più generale sarebbe richiedere che consenta di specificare erroneamente il modello. $Y_i$ $g(\mathbf{X}_i \beta)$ $g$ $g^{-1}$ $g^{-1}$ $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$

Inoltre, è interessante notare che per le famiglie esponenziali regolari, che si chiama relazione media-varianza. In effetti per la regressione logistica, la relazione di varianza media è tale che la media è correlata alla varianza di . Ciò suggerisce un'interpretazione di un modello GLM erroneamente specificato come uno che dà un residuo di Pearson medio 0. Ciò suggerisce inoltre una generalizzazione per consentire derivati medi funzionali non proporzionali e relazioni di varianza media. $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ $p = g(\mathbf{X}\beta)$ $\mbox{var}(Y_i) = p_i(1-p_i)$

Un approccio di equazione di stima generalizzata specifica i modelli lineari nel modo seguente:

0 = \frac{\partial g (X β)}{\partial β} V^{- 1} (Y - g (X β))

$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$

Con una matrice di varianze basata sul valore adattato (media) dato da . Questo approccio alla stima consente di scegliere una funzione di collegamento e una relazione di varianza media come con i GLM. $\mathbf{V}$ $g(\mathbf{X}\beta)$

Nella regressione logistica sarebbe il logit inverso, e sarebbe dato da . Le soluzioni a questa equazione di stima, ottenute da Newton-Raphson, produrranno la ottenuta dalla regressione logistica. Tuttavia, una classe di modelli leggermente più ampia è stimabile in un quadro simile. Ad esempio, la funzione di collegamento può essere considerata come il log del predittore lineare in modo che i coefficienti di regressione siano rischi relativi e non rapporti di probabilità . Il che - date le insidie ben documentate dell'interpretazione degli OR come RR - mi spinge a chiedermi perché qualcuno si adatti ai modelli di regressione logistica. $g$ $V_{ii}$ $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$ $\beta$

— ADAMO
fonte

+1 ottima risposta. formularlo come una scoperta di radice su derivati è davvero nuovo per me. e la seconda equazione è davvero concisa.

— Haitao Du,