Stima dei parametri con modelli lineari generalizzati

Per impostazione predefinita, quando utilizziamo una glmfunzione in R, utilizza il metodo IWLS (reimpostazione dei minimi quadrati ripetutamente iterativamente) per trovare la stima della massima verosimiglianza dei parametri. Ora ho due domande.

1. Le stime IWLS garantiscono il massimo globale della funzione di probabilità? Sulla base dell'ultima diapositiva di questa presentazione, penso che non lo faccia! Volevo solo esserne sicuro.
2. Possiamo dire che il motivo della domanda 1 sopra è dovuto al fatto che quasi tutti i metodi di ottimizzazione numerica possono rimanere bloccati su un massimo locale piuttosto che un massimo globale?

Quando si tenta di stimare i parametri, si desidera sempre che ci sia una soluzione a modulo chiuso. Tuttavia, uno non esiste sempre (suppongo sia possibile che in alcuni casi ce ne sia uno ma al momento non è noto). Quando non esiste una soluzione a forma chiusa, è necessario utilizzare una strategia euristica per cercare nello spazio dei parametri le migliori stime dei parametri possibili da utilizzare. Ci sono molte strategie di tale ricerca (ad esempio a R, ? Optim liste 6 Metodi di uso generale). L'IRWLS è una versione semplificata dell'algoritmo Newton-Raphson .

Sfortunatamente, la risposta al tuo [ 1 ] è che nessuna strategia di ricerca euristica è garantita per trovare il minimo globale (massimo). Ci sono tre ragioni per cui è così:

1. Come indicato nella diapositiva 9 della presentazione collegata, potrebbe non esistere una soluzione unica. Esempi di questo potrebbero essere la perfetta multicollinearità o quando ci sono più parametri da stimare di quanti siano i dati .
2. Come notato nella diapositiva 10 (quella presentazione è abbastanza buona, penso), la soluzione potrebbe essere infinita. Questo può accadere nella regressione logistica, ad esempio, quando si ha una separazione perfetta .

3. Può anche succedere che esista un minimo globale (massimo) finito, ma che l'algoritmo non lo trova. Questi algoritmi (in particolare IRWLS e NR) tendono a partire da una posizione specifica e "guardarsi intorno" per vedere se muoversi in una direzione costituisce "andare in discesa" (cioè migliorare l'adattamento). In tal caso, si adatterà nuovamente a una certa distanza in quella direzione e si ripeterà fino a quando il miglioramento indovinato / previsto non sarà inferiore a una certa soglia. Pertanto, ci possono essere due modi per non raggiungere il minimo globale:

   1. Il tasso di discesa dalla posizione corrente verso il minimo globale (massimo) è troppo basso per attraversare la soglia e l'algoritmo si arresta prima della soluzione.
   2. Esiste un minimo locale (massimo) tra la posizione corrente e il minimo globale (massimo), in modo che l'algoritmo appaia che ulteriori movimenti porterebbero a un adattamento peggiore .

Per quanto riguarda il tuo [ 2 ], tieni presente che strategie di ricerca diverse hanno tendenze diverse da cogliere nei minimi locali. Anche la stessa strategia a volte può essere adattata o iniziata da un diverso punto di partenza per affrontare questi ultimi due problemi.

Hai ragione sul fatto che, in generale, IWLS, come altri metodi di ottimizzazione numerica, può garantire la convergenza a un massimo locale solo se convergono. Ecco un bell'esempio in cui il valore iniziale era al di fuori del dominio di convergenza per l'algoritmo utilizzato da glm () in R. Tuttavia, vale la pena notare che per i GLM con il collegamento canonico, la probabilità è concava, vedi qui . Pertanto, se l'algoritmo converge, sarà convertito alla modalità globale!

L'ultimo problema sottolineato nella diapositiva è un problema in cui l'MLE per un parametro è all'infinito. Ciò può verificarsi nella regressione logistica dove esiste una separazione completa. In tal caso, riceverai un messaggio di avviso che le probabilità adattate sono numericamente 0 o 1. È importante notare che quando ciò si verifica, l'algoritmo non si è convertito alla modalità, quindi ciò non ha a che fare con l'algoritmo bloccato in un massimo locale.