Sono curioso di sapere perché trattiamo GLMS come se fossero un problema di ottimizzazione speciale. Sono loro? Mi sembra che siano solo la massima verosimiglianza e che annotiamo la verosimiglianza e poi ... la massimizziamo! Quindi, perché utilizziamo il punteggio di Fisher anziché una miriade di schemi di ottimizzazione sviluppati nella letteratura matematica applicata?
Risposte:
Il punteggio di Fisher è solo una versione del metodo di Newton che viene identificato con i GLM, non c'è nulla di particolarmente speciale al riguardo, a parte il fatto che la matrice di informazioni di Fisher sembra essere piuttosto facile da trovare per le variabili casuali nella famiglia esponenziale. Si collega anche a un sacco di altro materiale matematico che tende a presentarsi nello stesso momento e fornisce una buona intuizione geometrica sul significato esattamente delle informazioni di Fisher.
Non c'è assolutamente alcun motivo per cui riesco a pensare di non usare qualche altro ottimizzatore se preferisci, a parte quello che potresti dover codificare a mano piuttosto che usare un pacchetto preesistente. Sospetto che qualsiasi forte enfasi sul punteggio di Fisher sia una combinazione di (in ordine di riduzione del peso) pedagogia, facilità di derivazione, pregiudizio storico e sindrome "non inventata qui".
È storico e pragmatico; Nelder e Wedderburn hanno retroingegnerizzato i GLM, come il set di modelli in cui è possibile trovare il MLE usando il punteggio Fisher (ovvero Iteractive ReWeighted Least Squares). L'algoritmo è venuto prima dei modelli, almeno nel caso generale.
Vale anche la pena ricordare che IWLS era ciò che avevano a disposizione nei primi anni '70, quindi i GLM erano un'importante classe di modelli da conoscere. Il fatto che sia possibile massimizzare le probabilità GLM in modo affidabile utilizzando algoritmi di tipo Newton (in genere hanno MLE univoci) significava anche che programmi come GLIM potevano essere utilizzati da coloro che non avevano competenze nell'ottimizzazione numerica.