Perché facciamo grandi storie sull'uso del punteggio Fisher quando ci si adatta a un GLM?


16

Sono curioso di sapere perché trattiamo GLMS come se fossero un problema di ottimizzazione speciale. Sono loro? Mi sembra che siano solo la massima verosimiglianza e che annotiamo la verosimiglianza e poi ... la massimizziamo! Quindi, perché utilizziamo il punteggio di Fisher anziché una miriade di schemi di ottimizzazione sviluppati nella letteratura matematica applicata?

Risposte:


13

Il punteggio di Fisher è solo una versione del metodo di Newton che viene identificato con i GLM, non c'è nulla di particolarmente speciale al riguardo, a parte il fatto che la matrice di informazioni di Fisher sembra essere piuttosto facile da trovare per le variabili casuali nella famiglia esponenziale. Si collega anche a un sacco di altro materiale matematico che tende a presentarsi nello stesso momento e fornisce una buona intuizione geometrica sul significato esattamente delle informazioni di Fisher.

Non c'è assolutamente alcun motivo per cui riesco a pensare di non usare qualche altro ottimizzatore se preferisci, a parte quello che potresti dover codificare a mano piuttosto che usare un pacchetto preesistente. Sospetto che qualsiasi forte enfasi sul punteggio di Fisher sia una combinazione di (in ordine di riduzione del peso) pedagogia, facilità di derivazione, pregiudizio storico e sindrome "non inventata qui".


1
Non penso che sia del tutto corretto - l'algoritmo IRLS utilizza l'Assia attesa, mentre Newton-Raphson usa l'Assia osservata - vedi gen.lib.rus.ec/… per un confronto dettagliato dei 2 algoritmi ...
Tom Wenseleers,

9

È storico e pragmatico; Nelder e Wedderburn hanno retroingegnerizzato i GLM, come il set di modelli in cui è possibile trovare il MLE usando il punteggio Fisher (ovvero Iteractive ReWeighted Least Squares). L'algoritmo è venuto prima dei modelli, almeno nel caso generale.

Vale anche la pena ricordare che IWLS era ciò che avevano a disposizione nei primi anni '70, quindi i GLM erano un'importante classe di modelli da conoscere. Il fatto che sia possibile massimizzare le probabilità GLM in modo affidabile utilizzando algoritmi di tipo Newton (in genere hanno MLE univoci) significava anche che programmi come GLIM potevano essere utilizzati da coloro che non avevano competenze nell'ottimizzazione numerica.


Non penso che sia del tutto corretto - l'algoritmo IRLS utilizza l'Assia attesa, mentre Newton-Raphson usa l'Assia osservata - vedi gen.lib.rus.ec/… per un confronto dettagliato dei 2 algoritmi ...
Tom Wenseleers,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.