Come faccio a sapere quale metodo di stima dei parametri scegliere?

12

Esistono diversi metodi per la stima dei parametri. MLE, UMVUE, MoM, teoria delle decisioni e altri sembrano tutti avere un caso abbastanza logico per cui sono utili per la stima dei parametri. Qualcuno di questi metodi è migliore degli altri o è solo una questione di come definiamo lo stimatore "più adatto" (simile a come minimizzare gli errori ortogonali produce stime diverse da un normale approccio dei minimi quadrati)?

— Christopher Aden
fonte

1

Chiarimento rapido: minimizzare gli errori ortogonali piuttosto che quelli perpendicolari non è in realtà una decisione di strategia di stima ma una decisione sul modello che deve essere valutato - in genere uno che presuppone l'esistenza di un errore di misurazione in X piuttosto che uno che non lo fa. (E si potrebbe stimare i suoi parametri diversi modi.)

— conjugateprior

1

Mi piace la tua idea di una strategia di stima "più adatta", ma cosa si adatta meglio? Di solito il problema riguarda l'adattamento della strategia allo stato di fiducia della ricercatrice nella sua conoscenza delle varie ipotesi parametriche che vorrebbe fare e il livello di ansia che lei nutre nei loro confronti è piuttosto sbagliato. La letteratura di econometria è abbastanza esplicita su questo come motivazione ML vs GMM vs Robust, ecc.

— Coniugateprior

12

Qui c'è una leggera confusione di due cose: metodi per derivare gli stimatori e criteri per valutare gli stimatori. La massima verosimiglianza (ML) e il metodo dei momenti (MoM) sono modi di derivare gli stimatori; L'imparzialità della varianza uniformemente minima (UMVU) e la teoria delle decisioni sono criteri per valutare diversi stimatori una volta che li hai, ma non ti diranno come derivarli.

Dei metodi per derivare gli stimatori, ML di solito produce stimatori che sono più efficienti (cioè varianza inferiore) rispetto al MoM se si conosce il modello in base al quale sono stati derivati i dati (il "processo di generazione di dati" (DGP) nel gergo). Ma MoM fa meno ipotesi sul modello; come suggerisce il nome, utilizza solo uno o più momenti, di solito solo la media o solo la media e la varianza, quindi a volte è più robusto se non si è sicuri del DGP. Ci può essere più di uno stimatore MoM per lo stesso problema, mentre se conosci il DGP, c'è solo uno stimatore ML.

Dei metodi per la valutazione degli stimatori, la teoria della decisione dipende dall'avere una funzione di perdita da usare per giudicare lo stimatore, sebbene i risultati possano essere abbastanza robusti per una serie di funzioni di perdita "ragionevoli". Gli stimatori UMVU spesso non esistono nemmeno; in molti casi non esiste uno stimatore imparziale che abbia sempre una varianza minima. E il criterio di imparzialità è anche di utilità discutibile, in quanto non è invariante alle trasformazioni. Ad esempio, preferiresti uno stimatore imparziale del odds ratio o del log odds ratio? I due saranno diversi.

— una fermata
fonte

Onestop: questo è certamente lo spirito della domanda a cui stavo puntando. E grazie per il chiarimento tra i criteri di valutazione degli stimatori e i metodi per derivarli!

— Christopher Aden,

Grazie. Sono un po 'sorpreso che nessun altro si sia avvicinato, è stato scritto praticamente dalla parte superiore della mia testa, e di certo non sono un esperto di teoria della stima.

— onestop,

2

Vorrei suggerire che il tipo di stimatore dipende da alcune cose:

Quali sono le conseguenze di sbagliare la stima? (ad es. è meno male se lo stimatore è troppo alto, rispetto ad essere troppo basso? o sei indifferente sulla direzione dell'errore? se un errore è due volte più grande, è due volte più cattivo? è un errore percentuale o un errore assoluto questo è importante? La stima è solo un passaggio intermedio necessario per la previsione? Il comportamento del campione di grandi dimensioni è più o meno importante del comportamento del campione di piccole dimensioni?)
Quali sono le tue informazioni precedenti sulla quantità che stai stimando? (ad es. in che modo i dati sono funzionalmente correlati alla tua quantità? sai se la quantità è positiva? discreta? hai già stimato questa quantità? quanti dati hai? C'è una struttura di "invarianza di gruppo" nei tuoi dati?)
Che software hai? (ad esempio, non è consigliabile suggerire MCMC se non si dispone del software per farlo, o utilizzare un GLMM se non si sa come farlo.)

I primi due punti sono specifici del contesto e, pensando alla tua specifica applicazione , sarai generalmente in grado di definire alcune proprietà che vorresti che il tuo stimatore avesse. Quindi scegli lo stimatore che puoi effettivamente calcolare, che ha tutte le proprietà che vuoi che abbia.

Penso che la mancanza di contesto che un corso di insegnamento ha sulla stima, significhi che spesso vengono utilizzati criteri di "default", allo stesso modo per informazioni precedenti (il "default" più ovvio è che conosci la distribuzione campionaria dei tuoi dati). Detto questo, alcuni dei metodi predefiniti sono buoni, soprattutto se non si conosce abbastanza il contesto. Ma se fare conoscere il contesto, e si hanno gli strumenti per incorporare questo contesto, allora si dovrebbe, perché altrimenti è possibile ottenere risultati contro-intuitivo (a causa di ciò che hai ignorato).

Non sono un grande fan di MVUE come regola generale, perché spesso è necessario sacrificare troppa varianza per ottenere imparzialità. Ad esempio, immagina di lanciare le freccette contro un bersaglio e di voler colpire il bersaglio. Supponendo che la deviazione massima dall'occhio di bue sia di 6 cm per una particolare strategia di lancio, ma il centro dei punti di dardo è 1 cm sopra il bersaglio. Questo non è MVUE, perché il centro dovrebbe essere al centro. Ma supponiamo che per spostare la distribuzione di 1 cm (in media), è necessario aumentare il raggio di almeno 10 cm (quindi l'errore massimo è ora di 10 cm e non di 6 cm). Questo è il tipo di cose che possono accadere con MVUE, a meno che la varianza non sia già piccola. Supponiamo che sia stato un tiro molto più preciso e che potrei restringere il mio errore a 0,1 cm. Ora il pregiudizio conta davvero, perché non colpirò mai il bersaglio!

In breve, per me, la distorsione conta solo quando è piccola rispetto alla varianza. E di solito si ottengono piccole variazioni solo quando si ha un campione di grandi dimensioni.

— probabilityislogic
fonte