Soggettività nelle statistiche del frequentista


14

Sento spesso l'affermazione secondo cui le statistiche bayesiane possono essere altamente soggettive. L'argomento principale è che l'inferenza dipende dalla scelta di un priore (anche se si potrebbe usare il principio di indifferenza o massima entropia per scegliere un priore). In confronto, afferma l'affermazione, le statistiche frequentiste sono in genere più obiettive. Quanta verità c'è in questa affermazione?

Inoltre, questo mi fa chiedere:

  1. Quali sono gli elementi concreti delle statistiche frequentiste (se presenti) che possono essere particolarmente soggettivi e che non sono presenti o che sono meno importanti nelle statistiche bayesiane?
  2. La soggettività è più diffusa nelle statistiche bayesiane che nelle statistiche frequentiste?

5
Certamente i metodi frequentisti sono molto più soggettivi che pubblicizzati, ma direi che i metodi bayesiani sono ancora più soggettivi. E per favore non convincersi che l'invarianza della vostra prima nell'ambito di un gruppo o la specificazione di un MaxEnt prima sono in qualche modo "oggettivo" - entrambi i tipi prima potenzialmente esprimere convinzioni che io considero informativo, e in ogni caso nessuna strategia è applicabile in completa generalità (es. non penso che ci siano priori invarianti o MaxEnt nello spazio dei CDF, e qualsiasi precedente su questo spazio assegna la probabilità 1 a un set topologicamente scarso).
ragazzo

2
I bayesiani iniziano sul terreno soggettivo, quindi i dati (si spera) li riportano nella realtà oggettiva. I frequentatori iniziano (o almeno pensano di farlo) da posizioni oggettive, ma poi finiscono per contaminare l'analisi con i loro presupposti soggettivi.
Aksakal,

2
I bayesiani lo sanno e sono in prima linea con le loro ipotesi. I frequentatori generalmente non lo sono.
Alexis,

Risposte:


15

Sento spesso l'affermazione secondo cui le statistiche bayesiane possono essere altamente soggettive.

Anche io. Ma nota che c'è una grande ambiguità nel chiamare qualcosa di soggettivo.

Soggettività (entrambi i sensi)

Soggettivo può significare (almeno) uno di

  1. dipende dalle idiosincrasie del ricercatore
  2. esplicitamente interessato allo stato di conoscenza di un individuo

Il bayesianismo è soggettivo nel secondo senso perché offre sempre un modo per aggiornare le credenze rappresentate dalle distribuzioni di probabilità mediante il condizionamento delle informazioni. (Nota che se quelle credenze sono credenze che un soggetto ha effettivamente o solo credenze che un soggetto potrebbe avere è irrilevante per decidere se è "soggettivo".)

L'argomento principale è che l'inferenza dipende dalla scelta di un priore

In realtà, se un priore rappresenta la tua convinzione personale su qualcosa, quasi certamente non l'hai scelta più di quanto hai scelto la maggior parte delle tue convinzioni. E se rappresenta le credenze di qualcuno, allora può essere una rappresentazione più o meno accurata di quelle credenze, quindi ironicamente ci sarà un fatto piuttosto "oggettivo" su quanto bene le rappresenti.

(anche se si potrebbe usare il principio di indifferenza o massima entropia per scegliere un precedente).

Si potrebbe, anche se questo non tende a generalizzare senza problemi a domini continui. Inoltre, probabilmente è impossibile essere piatto o 'indifferente' in tutte le parametrizzazioni contemporaneamente (anche se non sono mai stato del tutto sicuro del motivo per cui vorresti essere).

In confronto, afferma l'affermazione, le statistiche frequentiste sono in genere più obiettive. Quanta verità c'è in questa affermazione?

Quindi, come possiamo valutare questa affermazione?

Suggerisco che nel secondo secondo senso soggettivo: sia per lo più corretto. E nel primo senso soggettivo: è probabilmente falso.

Frequenzialismo come soggettivo (secondo senso)

Alcuni dettagli storici sono utili per mappare i problemi

Per Neyman e Pearson esiste solo un comportamento induttivo , non un'inferenza induttiva e tutte le valutazioni statistiche funzionano con le proprietà di campionamento a lungo termine degli stimatori. (Quindi analisi alfa e potenza, ma non valori p). È piuttosto soggettivo in entrambi i sensi.

In effetti è possibile, e ritengo abbastanza ragionevole, argomentare in tal senso che il Frequentismo in realtà non è affatto un quadro di inferenza ma piuttosto una raccolta di criteri di valutazione per tutte le possibili procedure di inferenza che enfatizzano il loro comportamento in applicazioni ripetute. Semplici esempi potrebbero essere coerenza, imparzialità, ecc. Ciò lo rende ovviamente non soggettivo in senso 2. Tuttavia, rischia anche di essere soggettivo in senso 1 quando dobbiamo decidere cosa fare quando quelle crteria non si applicano (ad esempio quando non c'è uno stimatore imparziale da avere) o quando si applicano ma contraddicono.

Fisher ha offerto un frequentismo meno soggettivo che è interessante. Per Fisher, esiste un'inferenza induttiva, nel senso che un soggetto, lo scienziato, fa inferenze sulla base di un'analisi dei dati, effettuata dallo statistico. (Quindi valori p ma non analisi alfa e potenza). Tuttavia, le decisioni su come comportarsi, se proseguire con la ricerca, ecc. Sono prese dallo scienziato sulla base della sua comprensione della teoria dei domini, non dallo statistico che applica il paradigma dell'inferenza. A causa di questa divisione del lavoro dei pescatori, sia la soggettività (senso 2) che la materia individuale (senso 1) si collocano dal lato scientifico, non dal lato statistico.

Dal punto di vista legalistico, il Frequentismo di Fisher è soggettivo. È solo che il soggetto soggettivo non è lo statistico.

Esistono varie sintesi di questi disponibili, sia il mix appena coerente di questi due che trovi nei libri di testo statistici applicati sia le versioni più sfumate, ad esempio le "Statistiche degli errori" promosse da Deborah Mayo. Quest'ultimo è piuttosto soggettivo nel senso 2, ma altamente soggettivo nel senso 1, perché il ricercatore deve usare il giudizio scientifico - stile Fisher - per capire quali sono le probabilità di errore e deve essere testato.

Frequenzialismo come soggettivo (primo senso)

Quindi il frequentismo è meno soggettivo nel primo senso? Dipende. Qualsiasi procedura di inferenza può essere crivellata di idiosincrasie come effettivamente applicate. Quindi forse è più utile chiedersi se il Frequentismo incoraggi un approccio meno soggettivo (di primo senso)? Ne dubito: penso che l'applicazione autocosciente dei metodi soggettivi (di secondo senso) porti a risultati meno soggettivi (di primo senso), ma può essere argomentato in entrambi i modi.

Supponiamo per un momento che la soggettività (primo senso) si insinui in un'analisi tramite "scelte". Il bayesismo sembra comportare più "scelte". Nel caso più semplice, le scelte coincidono come: una serie di ipotesi potenzialmente idiosincratiche per il frequentista (la funzione di probabilità o equivalente) e due serie per il bayesiano (la probabilità e un precedente sugli incogniti).

Tuttavia, i bayesiani sanno di essere soggettivi (nel secondo senso) riguardo a tutte queste scelte, quindi rischiano di essere più consapevoli delle implicazioni che dovrebbero portare a una minore soggettività (nel primo senso).

Al contrario, se si cerca una prova in un grande libro di prove, allora si potrebbe avere la sensazione che il risultato sia meno soggettivo (primo senso), ma probabilmente è il risultato della sostituzione della comprensione del problema da parte di qualche altro soggetto con il proprio . Non è chiaro che uno sia diventato meno soggettivo in questo modo, ma potrebbe sembrare così. Penso che la maggior parte sarebbe d'accordo sul fatto che sia inutile.


4
Una definizione del dizionario "soggettivo" (direttamente da Google) dice: basata o influenzata da sentimenti, gusti o opinioni personali. ad es. sinonimi "le sue opinioni sono altamente soggettivi": personale, personalizzato, individuale, interno, emotivo, istintivo, intuitivo, impressionista . Si noti che ciò riflette una teoria popolare secondo cui una "visione" (cioè una credenza) è soggettiva (senso 1: impressionista, intuitivo, strano ecc.) Perché riguarda lo stato interno di un particolare soggetto (senso 2: personalizzato, individuale, ecc. .) piuttosto che essere pubblico, cioè impersonale .
conjugateprior,

2
Potrebbe essere utile pensare alla psicologia cognitiva come esempio. Questo campo è completamente soggettiva (in secondo senso, perché è tutto sugli stati interni di persone e dei loro effetti sul comportamento di quelle persone), ma è non è soggettivo nel primo senso, perché gli psicologi non possono in realtà solo sedersi intorno e roba make up su la base del proprio stato interno.
conjugateprior,

2
L'estremo opposto, dove qualcosa è totalmente idiosincratico e soggettivo (senso 1) ma in realtà non riguarda affatto i soggetti , è più difficile da trovare. Forse Lucrezio spiega gli atomi e il vuoto in de Rerum Naturae ne è un esempio.
conjugateprior,

1
Esattamente. L'inglese non è di grande aiuto in questo ...
conjugateprior,

1
e ho approvato (e modificato leggermente) l'alterazione proposta
coniugatoprior

6

La soggettività negli approcci frequentisti dilaga nell'applicazione dell'inferenza. Quando testate un'ipotesi, impostate un livello di confidenza, diciamo 95% o 99%. Da dove viene? Non proviene da nessuna parte ma dalle tue preferenze o da una pratica prevalente nel tuo campo.

Gli argomenti precedenti bayesiani sono molto limitati su set di dati di grandi dimensioni, poiché quando lo si aggiorna con i dati, la distribuzione posteriore fluttuerà lontano dai precedenti man mano che vengono elaborati sempre più dati.

Detto questo, i bayesiani partono dalla definizione soggettiva di probabilità, convinzioni ecc. Ciò li rende diversi dai frequentatori, che pensano in termini di probabilità oggettive. In piccoli set di dati questo fa la differenza

AGGIORNAMENTO: Spero che odi la filosofia tanto quanto me, ma ogni tanto hanno qualche pensiero interessante, considera il soggettivismo . Come faccio a sapere che sono davvero su SE? E se fosse il mio sogno? eccetera. :)


1
A parte la scelta di un livello di confidenza nel test delle ipotesi (poiché lo stesso potrebbe essere discusso nelle statistiche bayesiane, ad esempio, quando si sceglie un criterio per confrontare HDP / HDI con ROPE per rifiutare o accettare un'ipotesi ), la soggettività gioca un ruolo in ottenere una stima puntuale o ottenere intervalli di confidenza, forse nella scelta degli stimatori?
Amelio Vazquez-Reina,

1
Inoltre, la mia comprensione è che i livelli di significatività sono stabiliti nelle statistiche frequentiste nel contesto del processo decisionale (cioè dovremmo rifiutare l'ipotesi nulla?), Non nelle probabilità di calcolo. Nella teoria delle decisioni bayesiane lo stesso potrebbe essere discusso sulla scelta di una funzione di perdita, che può influenzare la decisione ottimale (scelta). Inoltre, i valori del livello di confidenza sono generalmente scelti da un tasso di errore accettabile di tipo I (ad es. Il 95% in NHST è stabilito direttamente da un tasso di falsi positivi "non superiore al 5%")
Amelio Vazquez-Reina

4
Sicuramente le precedenti considerano un bel po 'quando si analizzano grandi set di dati, per i problemi moderni più interessanti. È vero, abbiamo risultati asintotici quandon e p«n, ma in genere le persone con set di dati di grandi dimensioni pongono grandi domande in modo che in un certo senso p ad un ritmo paragonabile a n, e qui un priore appropriato agirà come un regolarizzatore e avrà molta importanza.
ragazzo

5
Vale la pena notare che le funzioni di perdita potrebbero non essere soggettive (cioè, completamente determinate dal contesto), nel qual caso le decisioni ottimali bayesiane hanno il potenziale per essere completamente obiettive a parte la precedente.

1
@Matthew Sì, anche se questo vale anche per la scelta di αin NHST dal tasso massimo di falsi positivi tollerabile, come ho detto sopra.
Amelio Vazquez-Reina,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.