La risposta di @joceratops si concentra sul problema dell'ottimizzazione della massima probabilità di stima. Questo è davvero un approccio flessibile che è suscettibile di molti tipi di problemi. Per stimare la maggior parte dei modelli, compresi i modelli di regressione lineare e logistica, esiste un altro approccio generale basato sul metodo di stima dei momenti.
Lo stimatore della regressione lineare può anche essere formulato come radice dell'equazione di stima:
0=XT(Y−Xβ)
A questo proposito, è visto come il valore che recupera un residuo medio di 0. Non è necessario fare affidamento su alcun modello di probabilità sottostante per avere questa interpretazione. Tuttavia, è interessante fare derivare le equazioni del punteggio per una normale probabilità, vedrai infatti che assumono esattamente la forma mostrata sopra. Massimizzare la probabilità di una famiglia esponenziale regolare per un modello lineare (ad es. Regressione lineare o logistica) equivale a ottenere soluzioni alle loro equazioni di punteggio.β
0=∑i=1nSi(α,β)=∂∂βlogL(β,α,X,Y)=XT(Y−g(Xβ))
Dove ha previsto il valore . Nella stima GLM, si dice che sia l'inverso di una funzione di collegamento. Nelle equazioni di verosimiglianza normali, è la funzione di identità e nella regressione logistica è la funzione di logit. Un approccio più generale sarebbe richiedere che consenta di specificare erroneamente il modello. g ( X i β ) g g - 1 g - 1 0 = ∑ n i = 1 Y - g ( X i β )Yig(Xiβ)gg−1g−10=∑ni=1Y−g(Xiβ)
Inoltre, è interessante notare che per le famiglie esponenziali regolari, che si chiama relazione media-varianza. In effetti per la regressione logistica, la relazione di varianza media è tale che la media è correlata alla varianza di . Ciò suggerisce un'interpretazione di un modello GLM erroneamente specificato come uno che dà un residuo di Pearson medio 0. Ciò suggerisce inoltre una generalizzazione per consentire derivati medi funzionali non proporzionali e relazioni di varianza media.p=g(Xβ)var(Yi)=pi(1-pi)∂g(Xβ)∂β=V(g(Xβ))p=g(Xβ)var(Yi)=pi(1−pi)
Un approccio di equazione di stima generalizzata specifica i modelli lineari nel modo seguente:
0=∂g(Xβ)∂βV−1(Y−g(Xβ))
Con una matrice di varianze basata sul valore adattato (media) dato da . Questo approccio alla stima consente di scegliere una funzione di collegamento e una relazione di varianza media come con i GLM.Vg(Xβ)
Nella regressione logistica sarebbe il logit inverso, e sarebbe dato da . Le soluzioni a questa equazione di stima, ottenute da Newton-Raphson, produrranno la ottenuta dalla regressione logistica. Tuttavia, una classe di modelli leggermente più ampia è stimabile in un quadro simile. Ad esempio, la funzione di collegamento può essere considerata come il log del predittore lineare in modo che i coefficienti di regressione siano rischi relativi e non rapporti di probabilità . Il che - date le insidie ben documentate dell'interpretazione degli OR come RR - mi spinge a chiedermi perché qualcuno si adatti ai modelli di regressione logistica.gViig(Xiβ)(1−g(Xβ))β