Avere paura. Abbi molta paura.
L'anno scorso ho intervistato John Nash, autore di optim e optimx, per un articolo sul sito DeveloperWorks di IBM. Abbiamo parlato di come funzionano gli ottimizzatori e perché falliscono quando falliscono. Sembrava dare per scontato che lo facciano spesso. Ecco perché la diagnostica è inclusa nel pacchetto. Ha anche pensato che devi "capire il tuo problema" e capire i tuoi dati. Tutto ciò significa che gli avvisi dovrebbero essere presi sul serio e sono un invito a guardare i tuoi dati in altri modi.
In genere, un ottimizzatore interrompe la ricerca quando non può più migliorare la funzione di perdita di una quantità significativa. Fondamentalmente non sa dove andare dopo. Se il gradiente della funzione di perdita non è zero a quel punto, non hai raggiunto un estremo di alcun tipo. Se l'Assia non è positiva, ma il gradiente è zero, non hai trovato un minimo, ma probabilmente hai trovato un punto massimo o di sella. A seconda dell'ottimizzatore, tuttavia, i risultati sull'Assia potrebbero non essere forniti. In Optimx, se si desidera valutare le condizioni KKT, è necessario richiederle: non vengono valutate per impostazione predefinita. (Queste condizioni guardano il gradiente e l'Assia per vedere se hai davvero un minimo.)
Il problema con i modelli misti è che le stime di varianza per gli effetti casuali sono vincolate ad essere positive, ponendo così un limite all'interno della regione di ottimizzazione. Ma supponiamo che un particolare effetto casuale non sia realmente necessario nel tuo modello - cioè la varianza dell'effetto casuale è 0. Il tuo ottimizzatore si sposterà in quel limite, non sarà in grado di procedere e si fermerà con un gradiente diverso da zero. Se la rimozione di questo effetto casuale migliora la convergenza, saprai che era il problema.
A parte, nota che la teoria della massima verosimiglianza asintotica presuppone che l'MLE si trovi in un punto interno (cioè non al limite dei valori dei parametri leciti) - quindi i test del rapporto di verosimiglianza per i componenti della varianza potrebbero non funzionare quando effettivamente l'ipotesi nulla della varianza zero vero. I test possono essere eseguiti utilizzando test di simulazione, come implementato nel pacchetto RLRsim.
Per me, sospetto che gli ottimizzatori incontrino problemi quando il numero di parametri è insufficiente per il numero di parametri o il modello proposto non è davvero adatto. Pensa alla scarpetta di vetro e alla brutta sorellastra: non puoi trasferire i tuoi dati nel modello, non importa quanto ci provi, e qualcosa deve dare.
Anche se i dati si adattano al modello, potrebbero non avere il potere di stimare tutti i parametri. Una cosa divertente mi è successa in questo senso. Ho simulato alcuni modelli misti per rispondere a domandasu cosa succede se non si consente la correlazione degli effetti casuali quando si adatta un modello di effetti misti. Ho simulato i dati con una forte correlazione tra i due effetti casuali, quindi ho adattato il modello in entrambi i modi con lmer: ponendo 0 correlazioni e correlazioni libere. Il modello di correlazione si adattava meglio del modello non correlato, ma è interessante notare che in 1000 simulazioni ho avuto 13 errori nel montaggio del modello reale e 0 errori nel montaggio del modello più semplice. Non capisco bene perché sia successo (e ho ripetuto i sim a risultati simili). Ho il sospetto che il parametro di correlazione sia abbastanza inutile e l'ottimizzatore non riesca a trovare il valore (perché non importa).
Hai chiesto cosa fare quando diversi ottimizzatori danno risultati diversi. John e io abbiamo discusso di questo punto. Alcuni ottimizzatori, a suo avviso, non sono proprio così buoni! E tutti hanno punti di debolezza, vale a dire set di dati che potrebbero causare il fallimento. Questo è il motivo per cui ha scritto optimx, che include una varietà di ottimizzatori. È possibile eseguirne diversi sullo stesso set di dati.
Se due ottimizzatori forniscono gli stessi parametri, ma una diagnostica diversa - e quei parametri hanno senso nel mondo reale - allora sarei propenso a fidarmi dei valori dei parametri. La difficoltà potrebbe risiedere nella diagnostica, che non è infallibile. Se non hai fornito esplicitamente la funzione del gradiente e / o la matrice hessiana, l'ottimizzatore dovrà stimarli dalla funzione di perdita e dai dati, che è solo qualcos'altro che può andare storto.
Se stai ottenendo anche valori di parametro diversi, allora potresti voler provare diversi valori di partenza e vedere cosa succede allora. Alcuni ottimizzatori e alcuni problemi sono molto sensibili ai valori iniziali. Vuoi iniziare nel parco delle palle.
lme4(versione 1.1-7) ha un comportamento di avviso diverso che gli autori ritengono sia meno probabile dare avvisi di "falso allarme". Potresti provare ad aggiornarelme4alla versione più recente, adattare nuovamente il modello e vedere se ricevi ancora avvisi simili, almeno nel primo caso.