La trinità dei test nella massima verosimiglianza: cosa fare di fronte a conclusioni contraddittorie?

10

I test di Wald, Likelihood Ratio e Lagrange Moltiplicatore nel contesto della stima della massima verosimiglianza sono asintoticamente equivalenti. Tuttavia, per piccoli campioni, tendono a divergere un po ', e in alcuni casi portano a conclusioni diverse.

Come possono essere classificati in base alla probabilità con cui rifiutano il null? Cosa fare quando i test hanno risposte contrastanti? Puoi semplicemente scegliere quello che dà la risposta che vuoi o c'è una "regola" o "linea guida" su come procedere?

hypothesis-testing maximum-likelihood

— Vivi
fonte

è forse questo solo un caso in cui le approssimazioni asintotiche alle distribuzioni [null] di una o più delle tre statistiche di test non sono così buone? forse i risultati differiscono perché le dimensioni effettive dei test sono diverse? quanto sono grandi le dimensioni del tuo campione?

— ronaf,

5

Non conosco abbastanza bene la letteratura nell'area per offrire una risposta diretta. Tuttavia, mi sembra che se i tre test differiscono, ciò indica che sono necessarie ulteriori ricerche / raccolta di dati per rispondere definitivamente alla domanda.

Potresti anche voler guardare questa ricerca di Google Scholar

Aggiorna in risposta al tuo commento:

Se la raccolta di dati aggiuntivi non è possibile, esiste una soluzione alternativa. Fai una simulazione che rispecchi la struttura dei dati, la dimensione del campione e il modello proposto. È possibile impostare i parametri su alcuni valori predefiniti. Stimare il modello utilizzando i dati generati e quindi verificare quale dei tre test punta al modello giusto. Tale simulazione offrirebbe una guida su quale test usare per i tuoi dati reali. Ha senso?

1

Ti riferisci a un particolare documento? Immagino di poter trovare una risposta alla mia domanda se avessi studiato, studiato, letto molto, ma così il 95% delle domande che altre persone fanno qui ... Inoltre, in alcuni casi, in particolare con i dati macroeconomici (che è la mia area ), non ci sono più dati da raccogliere. I dati sono scarsi (il numero di osservazioni, intendo), e devi solo conviverci. Non esiste una soluzione "ottieni più dati". Speravo che qualcuno qui conoscesse l'argomento, ma non sembra. Forse una volta che il sito Web è stato aperto al pubblico?

— Vivi,

Sospetto che la risposta alla tua domanda sarà specifica per dominio / modello e quindi non sono sicuro di poter consigliare un documento specifico.

1

Scusa per il ritardo della risposta. Mi piace il tuo suggerimento di simulazione. Questo non è davvero facile, però. La verità è che ciò che vedo in pratica è che i ricercatori fanno semplicemente il test che è più semplice dal punto di vista computazionale o che dà loro il risultato che desiderano.

— Vivi,

8

Non darò una risposta definitiva in termini di classificazione dei tre. Crea CI del 95% attorno ai tuoi parametri in base a ciascuno e, se sono radicalmente diversi, il tuo primo passo dovrebbe essere quello di scavare più a fondo. Trasforma i tuoi dati (sebbene l'LR sia invariante), regolarizzi le tue probabilità, ecc. In ogni caso, probabilmente opterei per il test LR e l'IC associato. Segue una discussione approssimativa.

L'LR è invariante sotto la scelta della parametrizzazione (es. T contro logit (T)). La statistica Wald assume la normalità di (T - T0) / SE (T). In caso contrario, l'elemento della configurazione è difettoso. La cosa bella di LR è che non è necessario trovare una trasformazione f (T) per soddisfare la normalità. L'IC al 95% basato su T sarà lo stesso. Inoltre, se la tua probabilità non è quadratica, il CI 95% Wald, che è simmetrico, può essere bizzarro poiché potrebbe preferire i valori con una probabilità più bassa a quelli con una probabilità più alta.

Un altro modo di pensare a LR è che sta usando più informazioni, in termini vaghi, dalla funzione di verosimiglianza. Il Wald si basa sul MLE e sulla curvatura della probabilità su null. Il punteggio si basa sulla pendenza su null e sulla curvatura su null. L'LR valuta la probabilità sotto il nullo e la probabilità sotto l'unione del nullo e dell'alternativa e combina i due. Se sei costretto a sceglierne uno, questo potrebbe essere intuitivamente soddisfacente per scegliere l'LR.

Tieni presente che ci sono altri motivi, come la convenienza o il calcolo, per optare per Wald o Punteggio. Il Wald è il più semplice e, dato un parametro multivariato, se stai testando per impostare molti singoli su 0, ci sono modi convenienti per approssimare la probabilità. Oppure, se desideri aggiungere una variabile alla volta da un set, potresti non voler massimizzare la probabilità per ogni nuovo modello e l'implementazione dei test del punteggio offre un certo vantaggio qui. Wald e Score diventano attraenti man mano che i tuoi modelli e la tua probabilità diventano poco attraenti. (Ma non penso che questo sia quello che ti stavi chiedendo, dato che hai tutti e tre disponibili ...)

— ars
fonte