Chiarimenti sull'interpretazione degli intervalli di confidenza?


47

La mia attuale comprensione della nozione "intervallo di confidenza con livello di confidenza " è che se provassimo a calcolare l'intervallo di confidenza più volte (ogni volta con un nuovo campione), conterrebbe il parametro corretto del tempo.1α1α

Sebbene mi renda conto che questa non è la stessa "probabilità che il vero parametro risieda in questo intervallo", c'è qualcosa che voglio chiarire.

[Aggiornamento principale]

Prima di calcolare un intervallo di confidenza al 95%, esiste una probabilità del 95% che l'intervallo che calcoliamo coprirà il parametro vero. Dopo aver calcolato l'intervallo di confidenza e ottenuto un intervallo particolare , non possiamo più dirlo. Non possiamo nemmeno fare una sorta di argomento non frequentista secondo cui siamo sicuri al 95% che il vero parametro risiederà in ; perché se potessimo, contraddiremmo controesempi come questo: che cos'è, esattamente, un intervallo di confidenza?[a,b][a,b]

Non voglio fare di questo un dibattito sulla filosofia della probabilità; invece, sto cercando una spiegazione matematica precisa del come e perché vedere l'intervallo particolare cambia (o non cambia) la probabilità del 95% che avevamo prima di vedere quell'intervallo. Se lei sostiene che "dopo aver visto l'intervallo, la nozione di probabilità non ha più senso", allora bene, cerchiamo di lavorare in un'interpretazione della probabilità in cui si fa senso.[a,b]

Più precisamente:

Supponiamo di programmare un computer per calcolare un intervallo di confidenza del 95%. Il computer esegue alcuni scricchiolii numerici, calcola un intervallo e si rifiuta di mostrarmi l'intervallo fino a quando non inserisco una password. Prima di inserire la password e vedere l'intervallo (ma dopo che il computer l'ha già calcolata), qual è la probabilità che l'intervallo contenga il parametro vero? È al 95% e questa parte non è in discussione : questa è l'interpretazione della probabilità che mi interessa per questa particolare domanda (mi rendo conto che ci sono importanti questioni filosofiche che sto sopprimendo, e questo è intenzionale).

Ma non appena digito la password e faccio vedere al computer l'intervallo calcolato, la probabilità (che l'intervallo contenga il parametro vero) potrebbe cambiare. Qualsiasi affermazione che questa probabilità non cambierà mai sarebbe in contraddizione con il controesempio sopra. In questo controesempio, la probabilità potrebbe cambiare dal 50% al 100%, ma ...

  • Ci sono esempi in cui la probabilità cambia in qualcosa di diverso dal 100% o 0% (EDIT: e se sì, quali sono)?

  • Ci sono esempi in cui la probabilità non cambia dopo aver visto l'intervallo particolare (cioè la probabilità che il vero parametro risieda in è ancora del 95%)?[a,b][a,b]

  • Come (e perché) la probabilità cambia in generale dopo aver visto il computer sputare ?[a,b]

[Modificare]

Grazie per tutte le ottime risposte e discussioni utili!


1
Ciò può fornire alcuni punti interessanti: en.wikipedia.org/wiki/Credible_interval
nico,

I tuoi presupposti che P (E | C) = 1 e P (E | C ') = 0 sono ingiustificati. Perché affermi che se l'intervallo effettivo non contiene il valore del parametro vero, quest'ultimo è sicuramente al di fuori di esso?
vetroso

Non sono sicuro di cosa intendi per "intervallo effettivo" o "ultimo". Potete per favore chiarire?
Elliott,

@nico Grazie per il link. L'intento della mia domanda originale era "la mia tesi sembra mostrare che un intervallo di confidenza può essere interpretato come un intervallo credibile bayesiano, ma non è così, quindi cosa c'è di sbagliato nel mio ragionamento". Ma devo ammettere che non sono contento del concetto "la probabilità che l'intervallo contenga il parametro [sconosciuto] vero è 0 o 1". Per me, è come dire "la probabilità che la moneta sia atterrata a testa, dopo che l'ho lanciata ma prima che la guardassi, è 0 o 1"; Non vedo perché non sia 1/2.
Elliott,

@Elliot: mi viene in mente il gatto di Schrödinger :) Non sono sufficientemente esperto per darti una spiegazione adeguata, ma mi piacerebbe vedere una risposta a questo. PS: e non dimentichiamo che la moneta può anche cadere sul bordo!
nico,

Risposte:


28

Penso che il problema fondamentale sia che le statistiche del frequentista possano assegnare una probabilità solo a qualcosa che può avere una frequenza a lungo termine. Se il vero valore di un parametro risiede in un determinato intervallo o meno non ha una frequenza di lungo periodo, perché possiamo eseguire l'esperimento solo una volta, quindi non puoi assegnargli una probabilità frequentista. Il problema sorge dalla definizione di probabilità. Se cambi la definizione di probabilità in una bayesiana, il problema scompare istantaneamente poiché non sei più legato alla discussione sulle frequenze a lungo termine.

Vedi la mia (piuttosto tuffarsi nella guancia) risposta a una domanda correlata qui :

" Un frequentista è qualcuno che crede che le probabilità rappresentino frequenze a lungo termine con cui si verificano eventi; se necessario, inventerà una popolazione fittizia da cui la tua situazione particolare potrebbe essere considerata un campione casuale in modo da poter parlare in modo significativo di frequenze a lungo termine. Se gli fai una domanda su una situazione particolare, non darà una risposta diretta, ma farà una dichiarazione su questa popolazione (forse immaginaria) " .

Nel caso di un intervallo di confidenza, la domanda che normalmente vorremmo porci (a meno che non abbiamo un problema nel controllo di qualità per esempio) è "dato questo campione di dati, restituisci con probabilità l'intervallo più piccolo che contiene il vero valore del parametro X". Tuttavia un frequentatore non può farlo poiché l'esperimento viene eseguito una sola volta e quindi non ci sono frequenze di lungo periodo che possono essere utilizzate per assegnare una probabilità. Quindi invece il frequentatore deve inventare una popolazione di esperimenti (che non hai eseguito) da cui l'esperimento che hai eseguito può essere considerato un campione casuale. Il frequentatore ti dà quindi una risposta indiretta su quella fittizia popolazione di esperimenti, piuttosto che una risposta diretta alla domanda che volevi davvero porre su un particolare esperimento.

Essenzialmente è un problema di linguaggio, la definizione frequentista di una popolazione semplicemente non consente la discussione della probabilità del vero valore di un parametro che giace in un determinato intervallo. Ciò non significa che le statistiche dei frequentisti siano negative o non utili, ma è importante conoscere i limiti.

Per quanto riguarda l'aggiornamento principale

Non sono sicuro di poter dire che "Prima di calcolare un intervallo di confidenza al 95%, esiste una probabilità del 95% che l'intervallo che calcoliamo coprirà il parametro vero". all'interno di un quadro frequentista. Vi è una deduzione implicita qui che la frequenza a lungo termine con cui il vero valore del parametro risiede negli intervalli di confidenza costruiti da un particolare metodo è anche la probabilità che il vero valore del parametro risieda nell'intervallo di confidenza per il particolare campione dei dati che utilizzeremo. Questa è un'inferenza perfettamente ragionevole, ma è un'inferenza bayesiana, non frequente, in quanto la probabilità che il vero valore del parametro risieda nell'intervallo di confidenza che costruiamo per un particolare campione di dati non ha freqency a lungo termine, poiché abbiamo solo un campione di dati.

Possiamo comunque "fare una sorta di argomento non frequentista secondo cui siamo sicuri al 95% che il vero parametro risiederà in [a, b]", che è esattamente quello che è un intervallo credibile bayesiano, e per molti problemi l'intervallo credibile bayesiano coincide esattamente con l'intervallo di confidenza del frequentatore.

"Non voglio trasformare questo in un dibattito sulla filosofia della probabilità", purtroppo questo è inevitabile, il motivo per cui non è possibile assegnare una probabilità frequentista al fatto che il vero valore della statistica risieda nell'intervallo di confidenza è una conseguenza diretta della filosofia di probabilità frequentista. I frequentatori possono assegnare le probabilità solo a cose che possono avere frequenze di lungo periodo, in questo modo i frequentatori definiscono la probabilità nella loro filosofia. Ciò non rende sbagliata la filosofia frequentista, ma è importante comprendere i limiti imposti dalla definizione di probabilità.

"Prima di inserire la password e vedere l'intervallo (ma dopo che il computer l'ha già calcolata), qual è la probabilità che l'intervallo contenga il parametro vero? È del 95% e questa parte non è in discussione:" Questo è errato, o almeno nel fare una simile affermazione, ti sei allontanato dal quadro delle statistiche del frequentista e hai fatto un'inferenza bayesiana che comporta un grado di plausibilità nella verità di un'affermazione, piuttosto che una frequenza a lungo termine. Tuttavia, come ho detto prima, è un'inferenza perfettamente ragionevole e naturale.

Non è cambiato nulla prima o dopo aver inserito la password, poiché all'evento nerether è possibile assegnare una probabilità frequentista. Le statistiche dei frequentisti possono essere piuttosto intuitive in quanto spesso vogliamo porre domande sul grado di plausibilità delle dichiarazioni relative a eventi particolari, ma ciò non rientra nelle competenze delle statistiche dei frequentisti, e questa è l'origine della maggior parte delle interpretazioni errate delle procedure frequentiste.


2
Sì, è proprio questo il punto che sto facendo, la seconda affermazione non è in realtà una dichiarazione su questa particolare moneta. È un'affermazione su una popolazione immaginaria di monete che molte persone interpretano erroneamente come un'affermazione sulla nostra particolare moneta. Tuttavia, nel fare questo salto stiamo applicando l'intuizione bayesiana sulla probabilità e ignorando quale sia effettivamente un intervallo di confidenza. Non vi è alcun problema nell'assegnare una probabilità allo stato della moneta, a condizione che ci allontaniamo da una definizione frequentista di probabilità.
Dikran Marsupial,

2
Per chiarire, dire che "immaginare molti casi separati dell'inizio dei tempi; ti aspetteresti che circa la metà di quelli producano teste" è un ragionamento frequentista perfettamente corretto. Tuttavia, andare da lì a "quindi la probabilità che questa moneta in particolare sia anche 0,5" non è come una probabilità viene applicata a qualcosa che non ha una frequenza a lungo termine in quanto può accadere solo una volta e una volta sola. È tuttavia un ragionamento bayesiano perfettamente valido, poiché una probabilità bayesiana è un'affermazione sulla plausibilità di una proposizione (che può essere basata su una frequenza di lungo periodo all'interno di una popolazione).
Dikran Marsupial,

1
La sua risposta a entrambe le domande sarebbe in realtà una dichiarazione sulla proporzione di una popolazione immaginaria di monete che atterrerebbero teste. Ma è probabile che ciò non sia reso esplicito, in quanto alla gente generalmente piace essere utile (le risposte indirette non sono generalmente così utili), e anche le statistiche dei frequentisti sono piuttosto contro-intuitive e il frequentatore è probabile che aggiri questo punto per evitare confusione. Se bloccato per fare una dichiarazione probabilistica su un particolare capovolgimento, un buon frequentatore semplicemente rifiuterebbe di rispondere, al di fuori dei limiti delle statistiche del frequentatore.
Dikran Marsupial,

1
In sostanza, il frequentatore non risponderebbe davvero alla tua domanda, farebbe una dichiarazione su una popolazione di lanci di monete e ti lascerebbe dedurre da ciò che la probabilità di una testa su quel particolare lancio era la stessa della proporzione nella popolazione implicita . Ma quella sarebbe la tua deduzione bayesiana, non la sua.
Dikran Marsupial,

1
@Aaron Certo, potresti dire "la probabilità è 0 o 1" per molte cose, ma quella risposta non ci compra assolutamente nulla (ad esempio, se vogliamo rispondere a una domanda concreta su quanto dovremmo scommettere su un gioco o se o no dovremmo lanciare una navetta spaziale). Inoltre, le cose che "potrebbero accadere" sono: (1) la moneta ha fatto atterrare la testa e tu l'hai coperta, (2) la moneta ha atterrato la coda e tu l'hai coperta; in una "popolazione immaginaria" di molte prove "capovolgendo e coprendo", circa il 50% ti fa vedere la testa.
Elliott,

14

Importante aggiornamento, nuova importante risposta. Vorrei provare ad affrontare chiaramente questo punto, perché è il problema:

"Se si sostiene che" dopo aver visto l'intervallo, la nozione di probabilità non ha più senso ", allora va bene, lavoriamo su un'interpretazione della probabilità in cui ha senso."

Le regole di probabilità non cambiano ma il tuo modello per l'universo cambia. Sei disposto a quantificare le tue precedenti convinzioni su un parametro usando una distribuzione di probabilità? Aggiornare quella distribuzione di probabilità dopo aver visto i dati è una cosa ragionevole da fare? Se la pensi così, puoi fare affermazioni come . La mia distribuzione precedente può rappresentare la mia incertezza sul vero stato della natura , non solo sulla casualità come è comunemente inteso - vale a dire, se assegno una distribuzione precedente al numero di palline rosse in un'urna che non significa che penso che il numero di palline rosse è casuale. È stato risolto, ma non sono sicuro.P(θ[L(X),U(X)]|X=x)

Diverse persone tra cui ho detto questo, ma se non sei disposto a chiamare una variabile casuale, allora l'istruzione non lo è significativo. Se sono un frequentista, sto trattando come una quantità fissa E non posso attribuirgli una distribuzione di probabilità. Perché? Perché è fisso e la mia interpretazione della probabilità è in termini di frequenze a lungo termine. Il numero di palline rosse nell'urna non cambia mai. è ciò che è. Se estraggo alcune palline, ho un campione casuale. Posso chiedere cosa succederebbe se prendessi un sacco di campioni casuali - vale a dire, posso parlare diP ( θ [ L ( X ) , U ( X ) ] | X = x ) θ θ θ P ( θ [ L ( X ) , U ( X ) ] )θP(θ[L(X),U(X)]|X=x)θθθP(θ[L(X),U(X)]) perché l'intervallo dipende dal campione, che è (aspettalo!) casuale.

Ma tu non lo vuoi. Vuoi - qual è la probabilità che questo intervallo che ho costruito con il mio campione osservato (e ora corretto) contenga il parametro. Tuttavia, una volta che hai condizionato su allora per me, un frequentatore, non c'è più nulla di casuale e l'affermazione non fa ' Non ha senso in alcun modo significativo.X = x P ( θ [ L ( X ) , U ( X ) ] | X = x )P(θ[L(X),U(X)]|X=x)X=xP(θ[L(X),U(X)]|X=x)

L'unico modo di principio (IMO) per fare una dichiarazione su è quantificare la nostra incertezza su un parametro con una (precedente) distribuzione di probabilità e aggiorna quella distribuzione con nuove informazioni tramite il Teorema di Bayes. Ogni altro approccio che ho visto è un'approssimazione poco brillante a Bayes. Certamente non puoi farlo da una prospettiva frequentista.P(θ[L(X),U(X)]|X=x)

Ciò non vuol dire che non è possibile valutare le tradizionali procedure per frequentisti da una prospettiva bayesiana (spesso gli intervalli di confidenza sono solo intervalli credibili sotto priori uniformi, per esempio) o che la valutazione di stimatori bayesiani / intervalli credibili da una prospettiva frequentista non è preziosa (Penso che possa essere). Non significa che le statistiche classiche / frequentiste siano inutili, perché non lo sono. È quello che è e non dovremmo cercare di renderlo di più.

Pensi che sia ragionevole assegnare a un parametro una distribuzione precedente per rappresentare le tue convinzioni sull'universo? Sembra dai tuoi commenti che fai; nella mia esperienza la maggior parte delle persone sarebbe d'accordo (questa è la piccola battuta che ho fatto nel mio commento a @G. La risposta di Jay Kerns). In tal caso, il paradigma bayesiano fornisce un modo logico e coerente per fare affermazioni su . L'approccio frequentista semplicemente non lo fa.P(θ[L(X),U(X)]|X=x)


1
(+1) molto ben fatto, ancora una volta, e posto sul punto morto.

+1 Stesso commento di cui sopra (vedi la risposta di G. Jay Kerns); questo è stato davvero utile.
Elliott,

Bounty schmounty :) Sono contento che l'abbia trovato utile.
JMS,

11

OK, ora stai parlando! Ho votato per eliminare la mia risposta precedente perché non ha senso con questa domanda aggiornata in modo rilevante.

In questa nuova domanda aggiornata, con un computer che calcola gli intervalli di confidenza al 95%, sotto l'interpretazione del frequentatore ortodosso, ecco le risposte alle tue domande:

  1. No.
  2. No.
  3. Una volta osservato l'intervallo, non è più casuale e non cambia. (Forse l'intervallo era .) Ma neanche non cambia e non è mai cambiato. (Forse è ) La probabilità cambia dal 95% allo 0% perché il 95% degli intervalli calcolati dal computer copre la copertura 7, ma il 100% degli intervalli NON copre la copertura 7.θ θ = 7 [ 1 , 3 ][1,3]θθ=7[1,3]

(A proposito, nel mondo reale, lo sperimentatore non sa mai che , il che significa che lo sperimentatore non può mai sapere se la vera probabilità copre è zero o uno. (S) può solo dire che deve essere l'uno o l'altro.) Questo, oltre allo sperimentatore, può dire che il 95% degli intervalli del computer copre , ma lo sapevamo già.[ 1 , 3 ] θ θθ=7[1,3]θθ

Lo spirito della tua domanda continua a suggerire la conoscenza dell'osservatore e come ciò si collega a dove sta la . Questo (presumibilmente) è il motivo per cui stavi parlando della password, del computer che calcolava l'intervallo senza ancora vederlo, ecc . Ho visto nei tuoi commenti delle risposte che sembra insoddisfacente / sconveniente essere obbligato a impegnarsi a 0 o 1, dopotutto, perché non potevamo credere che fosse l'87%, o il , o addirittura il 99% ?? ? Ma questo è esattamente il potere - e contemporaneamente il tallone d'Achille - del quadro frequentista: la conoscenza / credenza soggettiva dell'osservatore è irrilevante. Tutto ciò che conta è una frequenza relativa di lungo periodo. Niente di più, niente di meno.15 / 16θ15/16

Come ultimo BTW: se modifichi la tua interpretazione della probabilità (che hai scelto intenzionalmente di non fare per questa domanda), le nuove risposte sono:

  1. Sì.
  2. Sì.
  3. La probabilità cambia perché la probabilità = conoscenza soggettiva o grado di credenza e la conoscenza dell'osservatore sono cambiate. Rappresentiamo la conoscenza con distribuzioni precedenti / posteriori e quando nuove informazioni diventano disponibili, la prima si trasforma in quest'ultima (tramite la regola di Bayes).

(Ma per la divulgazione completa, l'installazione che descrivi non corrisponde molto bene all'interpretazione soggettiva. Ad esempio, di solito abbiamo un intervallo credibile precedente del 95% prima ancora di accendere il computer, quindi lo accendiamo e impieghiamo il computer per dare un intervallo credibile posteriore del 95% che di solito è considerevolmente più magro di quello precedente.)


Ancora! :) Molto bene.
JMS,

3
Vorrei solo sottolineare che l'interpretazione bayesiana della probabilità non è necessariamente soggettiva, quindi non è in realtà un punto di forza dell'approccio frequentista. Nel caso dell'obiettivo approccio bayesiano alla "probabilità di un problema di atterraggio di monete", l'uso di un precedente non informativo non implica alcuna soggettività. La vera forza dell'approccio frequentista risiede in problemi come il controllo di qualità, dove è naturale parlare di prove ripetute e frequenze a lungo termine. Ha difficoltà solo quando poni domande su eventi particolari.
Dikran Marsupial,

@JMS, grazie. @Dikran, è difficile parlarne con 544 caratteri in una piccola scatola sullo schermo del computer. In breve: sono d'accordo con te sul fatto che la parola "bayesiano" non sia sinonimo di "soggettivo". E non ha senso cercare di inchiodare la vera forza di entrambi gli approcci. In conclusione: possiamo essere tutti d'accordo su una frequenza relativa a lungo termine, ma il più delle volte il tuo posteriore sarà diverso dal mio.

2
@Dikran Marsupial Hai ragione. Aggiungo solo che una volta passati i problemi dei giocattoli nella modellazione applicata reale, spesso accade che la soggettività veramente importante si manifesta attraverso il modo in cui specifichiamo la probabilità, non necessariamente le stesse distribuzioni precedenti (Queste osservazioni sono davvero intercambiabili? Gaussiana? eccetera). In questo modo la soggettività è integrata in un'enorme porzione di statistiche basate su modelli, sia bayesiane che frequentiste.
JMS,

+1 Grazie per la bellissima risposta. Questo merita sicuramente una generosità, ma per evitare di essere politico, ho finito per votare.
Elliott,

6

Aggiungerò i miei due centesimi (forse ridigestendo alcune delle precedenti risposte). Per un frequentatore, l'intervallo di confidenza stesso è essenzialmente una variabile casuale bidimensionale: se rifaresti l'esperimento un tempo di gazillion, l'intervallo di confidenza che stimeresti (cioè calcolando dai dati appena trovati ogni volta) differirebbe ogni volta . Pertanto, i due limiti dell'intervallo sono variabili casuali.

Un IC al 95%, quindi, non significa altro che l'assicurazione (dati tutti i presupposti che portano a questo IC sono corretti) che questo insieme di variabili casuali conterrà il valore reale (un'espressione molto frequentista) nel 95% dei casi.

È possibile calcolare facilmente l'intervallo di confidenza per la media di 100 estrazioni da una distribuzione normale standard. Quindi, se disegni 10000 volte 100 valori da quella distribuzione normale standard e ogni volta calcoli l'intervallo di confidenza per la media, vedrai effettivamente che 0 è lì circa 9500 volte.

Il fatto che tu abbia creato un intervallo di confidenza una sola volta (dai tuoi dati effettivi) riduce effettivamente la probabilità che il valore reale sia in quell'intervallo a 0 o 1, ma non cambia la probabilità dell'intervallo di confidenza come variabile casuale per contenere il valore vero.

Quindi, linea di fondo: la probabilità di qualsiasi (in media) intervallo di confidenza al 95% contenente il valore reale (95%) non cambia, e nemmeno la probabilità di un intervallo particolare (CI o altro) per contenere il valore vero (0 o 1). La probabilità dell'intervallo che il computer conosce ma in realtà non è 0 o 1 (perché è un intervallo particolare), ma poiché non lo conosci (e, in modo frequentista, non è possibile ricalcolare lo stesso intervallo infinitamente più volte dagli stessi dati), tutto ciò che devi fare è la probabilità di qualsiasi intervallo.


Nota a margine divertente: il correttore ortografico di questo sito trova la parola frequentista degna di una riccia sottolineatura. Questo sito è segretamente gestito dai bayesiani? Oh, immagino di no, dato che i bayesiani hanno la loro sottolineatura riccia :-)
Nick Sabbe,

4

Il motivo per cui l'intervallo di confidenza non specifica "la probabilità che il vero parametro risieda nell'intervallo" è perché, una volta specificato l'intervallo, il parametro si trova al suo interno oppure no. Tuttavia, ad esempio per un intervallo di confidenza al 95%, hai una probabilità del 95% di creare un intervallo di confidenza che contenga il valore. Questo è un concetto piuttosto difficile da capire, quindi potrei non articolarlo bene. Vedi http://frank.itlab.us/datamodel/node39.html per ulteriori chiarimenti.


2
Supponi di programmare un computer per calcolare un intervallo di confidenza, ma non guardi l'output. Prima di aver visto l'output, sai che esiste una probabilità del 95% che l'intervallo contenga il parametro giusto (proprio come prima di aver visto il risultato di un lancio della moneta, sai che c'è una probabilità del 50% di teste). In che modo guardare successivamente all'output cambia questa probabilità, dato che non si conosce il parametro giusto in primo luogo (sono d'accordo che guardare il risultato di un lancio della moneta cambia la probabilità delle teste dal 50% a 1 o 0)?
Elliott,

Inoltre, mentre sono d'accordo sul fatto che ci sia una distinzione, mi chiedo cosa non vada nel mio "argomento" sopra, mostrando che sono la stessa cosa.
Elliott,

2
@Elliott Le tue domande sembrano essere le stesse di questa analogia: lanci una moneta giusta. Ergo, la probabilità di testa è del 50%. Ora guardi la moneta ed è la testa. In che modo questo cambia la probabilità delle teste? La risposta è che non lo fa, perché la probabilità si riferisce alla procedura di lancio della moneta, non al risultato. Mi sembra che il controesempio a cui ti riferisci funzioni in modo simile: la procedura potrebbe avere una probabilità del 50% di coprire il parametro, ma dopo il fatto è stato possibile verificare che il parametro sia effettivamente coperto. E allora?
whuber

Non sto parlando di cambiare la probabilità che una moneta giusta sarà la testa; invece, sto parlando di cambiare la probabilità che questa particolare moneta sarà testa. Dopo averlo girato e prima di averlo visto, direi che la probabilità in questione è del 50% perché circa la metà di questi casi comporta una moneta a testa in su. D'altra parte, dopo averlo visto e visto le teste, il 100% di questi casi comporta una moneta a testa in su (i casi con la coda in su sono stati eliminati quando ho guardato la moneta e non ho visto le teste).
Elliott,

Sono d'accordo che dopo il fatto, potrebbe essere possibile verificare che il parametro sia stato coperto. La mia risposta a "e allora?" è "quindi il mio argomento di cui sopra (nella domanda originale) deve essere sbagliato, e mi chiedo cosa c'è che non va".
Elliott,

4

Non penso che un frequentatore possa dire che esiste una probabilità del valore (popolazione) reale di una statistica che si trova nell'intervallo di confidenza per un particolare campione. O lo è, o non lo è, ma non esiste una frequenza a lungo termine per un particolare evento, solo la popolazione di eventi che otterresti ripetendo l'esecuzione di una procedura statistica. Questo è il motivo per cui dobbiamo attenerci a affermazioni come "Il 95% degli intervalli di confidenza così costruiti conterrà il vero valore della statistica", ma non "c'è un'ap% di probabilità che il vero valore risieda nell'intervallo di confidenza calcolato per questo particolare campione". Questo è vero per qualsiasi valore di p, semplicemente non è possibile con la definizione frequentista di cosa sia effettivamente una probabilità. Un bayesiano può tuttavia fare una simile affermazione usando un intervallo credibile.


3

E[a,b]

E~(L(X),U(X))

Modifica: @G. Jay Kerns rende l'argomento migliore di me e digita più velocemente, quindi probabilmente vai avanti :)


[a,b]

2
|

Non lo so, il tuo è perfetto. :-)

2

E[a,b]ECCP(E|C)=P(E)P(E|C)=P(E)

P(E|C)=1P(E|C)=0


Considerando che ho definito C come l'evento in cui questo particolare intervallo, [a, b], contiene il parametro vero, non sono sicuro di essere d'accordo sul fatto che E e C / C 'siano indipendenti: sapere che C si è verificato garantisce che si è verificato E .
Elliott,

Ma C è una variabile casuale! Stai cambiando le definizioni di tutti questi eventi dopo che tutto è già avvenuto. Detto in altro modo, se stai definendo C come questo particolare evento, allora C non è più un intervallo di confidenza.
Raegtin,

2
Il problema è che se C è l'evento in cui l'intervallo contiene il parametro vero in questa particolare esecuzione dell'esperimento, non ha una frequenza di lunga durata (quella particolare corsa può avvenire solo una volta) e quindi non è possibile assegnare una probabilità frequentista ad esso. Questo è il motivo per cui la definizione di un intervallo di confidenza frequentista è in termini di una popolazione di esperimenti replicati. Sembra che tu stia applicando il ragionamento bayesiano a un'impostazione frequentista e c'è una corrispondenza errata delle definizioni di probabilità.
Dikran Marsupial,

Ecco un altro modo di vederlo. Quello che sembra fare è il seguente: esegui un calcolo per ottenere un intervallo di confidenza [a, b]. Definire C come evento in cui questo particolare intervallo di confidenza [a, b] contiene il parametro true. Definisci anche E come evento in cui questo particolare intervallo [a, b] contiene il parametro vero. Quindi, E e C sono lo stesso evento!
Raegtin,

Questo è quello che stai effettivamente facendo. Sembra che tu stia facendo quanto segue (cosa che non sei): esegui il calcolo n. 1 per ottenere un intervallo [a, b]. Definire E come evento in cui questo particolare intervallo [a, b] contiene il parametro vero. Dimentica quindi il calcolo n. 1 e definisci C come evento in cui qualsiasi altro intervallo calcolato [a ', b'] contiene il parametro vero. In questo caso, E e C sono indipendenti.
Raegtin,

2

Ci sono così tante spiegazioni lunghe qui che non ho tempo di leggerle. Ma penso che la risposta alla domanda di base possa essere breve e dolce. È la differenza tra una probabilità incondizionata sui dati. La probabilità di 1-alfa prima di raccogliere i dati è la probabilità che la procedura ben definita includa il parametro. Dopo aver raccolto i dati e aver conosciuto l'intervallo specifico che hai generato, l'intervallo è fisso e quindi, poiché il parametro è una costante, questa probabilità condizionale è 0 o 1. Ma poiché non conosciamo il valore effettivo del parametro nemmeno dopo aver raccolto i dati non sappiamo quale sia il valore.

Estensione del post di Michael Chernick commenti modulo copiato:

esiste un'eccezione patologica a ciò che può essere definita stima perfetta. Supponiamo di avere un processo autoregressivo del primo ordine dato da X (n) = pX (n-1) + en. È stazionario, quindi sappiamo che p non è 1 o -1 ed è <1 in valore assoluto. Ora gli en sono indipendenti identicamente distribuiti con una distribuzione mista c'è una probabilità positiva q che en = 0

Esiste un'eccezione patologica a ciò che può essere definita stima perfetta. Supponiamo di avere un processo autoregressivo del primo ordine dato da X (n) = pX (n-1) + en. È stazionario, quindi sappiamo che p non è 1 o -1 ed è <1 in valore assoluto.

Ora gli en sono indipendenti identicamente distribuiti con una distribuzione mista c'è una probabilità positiva q che en = 0 e con probabilità 1-q ha una distribuzione assolutamente continua (diciamo che la densità è diversa da zero in un intervallo limitato da 0. Quindi raccogliere dati dalle serie temporali in sequenza e per ogni successiva coppia di valori stimati p per X (i) / X (i-1). Ora quando ei = 0 il rapporto sarà esattamente uguale a p.

Poiché q è maggiore di 0, alla fine il rapporto ripeterà un valore e quel valore deve essere il valore esatto del parametro p perché se non è il valore di ei che non è 0 si ripeterà con probabilità 0 e ei / x (i -1) non si ripeterà.

Quindi la regola di arresto sequenziale è campionare fino a quando il rapporto non si ripete esattamente, quindi utilizzare il valore ripetuto come stima di p. Poiché è esattamente qualsiasi intervallo che costruisci centrato in questa stima, ha la probabilità 1 di includere il parametro vero. Sebbene questo sia un esempio patologico che non è pratico, esistono processi stocastici stazionari con le proprietà di cui abbiamo bisogno per la distribuzione degli errori


2
hai preso in considerazione l'idea di aggiungere l'esempio descritto nel corso di questi numerosi commenti alla tua risposta?
Macro,

@Michael, secondo il commento di Macro. Si noti che i commenti sono generalmente pensati come un modo per interagire con altri utenti (ad esempio, quando si richiedono chiarimenti, ecc.), E in ogni caso sono talvolta visti come " cittadini di terza classe nello scambio di stack ". Tuttavia, seguendo il nostro ultimo scambio, ti lascerò decidere come procedere con questa serie di commenti. Questa osservazione si applica ad un'altra serie di commenti trovati qui .
chl

Non inserisco commenti nelle risposte perché sembra esserci una politica per ridimensionare le risposte che hanno molte discussioni in esse in particolare quando qualcuno giudica che la risposta non risponda realmente alla domanda. Quindi le risposte devono dare risposte e commenti vanno sotto commenti. I miei commenti tendono a superare il limite di caratteri, quindi ne uso diversi.
Michael Chernick,

@MichaelChernick Non esiste una tale politica, quindi ho inserito i tuoi commenti nel post.

1
@MichaelChernick, ho pubblicato su questo sito abbastanza regolarmente per circa un anno e non ho mai sentito nessuno suggerire che i moderatori fossero oppressivi o che le regole del sito fossero confuse. I problemi che hai riscontrato riguardano: i tuoi post sono argomenti che sono esplicitamente discussi nelle FAQ.
Macro

1

Due osservazioni sulle molte domande e risposte che possono aiutare ancora.

Parte della confusione deriva dal passare in rassegna alcune teorie matematiche più profonde della teoria della probabilità, che, a proposito, non erano su una solida base matematica fino agli anni '40 circa. Entra in ciò che costituisce spazi campione, spazi probabilità, ecc.

In primo luogo, hai affermato che dopo il lancio di una moneta sappiamo che esiste una probabilità dello 0% che non si inneschi se esce testa. A quel punto non ha senso parlare di probabilità; cos'è successo e lo sappiamo. La probabilità riguarda l'ignoto in futuro, non il noto nel presente.

Come piccolo corollario di ciò che significa veramente zero probabilità, considera questo: supponiamo che un conteggio equo abbia una probabilità di 0,5 di testa in salita e 0,5 di coda in salita. Ciò significa che ha una probabilità del 100% di arrivare a testa o croce, dal momento che questi risultati sono MECE (mutuamente esclusivi e completamente esaustivi). Ha una variazione dello zero percento, tuttavia, di comporre teste e code : la nostra nozione di "teste" e "code" è che si escludono a vicenda. Pertanto, questo ha una probabilità pari allo zero per cento perché è impossibile nel modo in cui pensiamo (o definiamo) il "lancio di una moneta". Ed è impossibile prima e dopo il sorteggio.

Come ulteriore corollario di ciò, tutto ciò che non è, per definizione, impossibile è possibile. Nel mondo reale, odio quando gli avvocati chiedono "non è possibile che tu abbia firmato questo documento e te ne sia dimenticato?" perché la risposta è sempre "sì" per natura della domanda. Del resto, la risposta è anche "sì" alla domanda "non è possibile che tu sia stato trasportato attraverso la dematerializzazione sul pianeta Remulak 4 e sia stato costretto a fare qualcosa che poi è stato trasportato indietro senza memoria?". La probabilità può essere molto bassa, ma ciò che non è impossibile è possibile. Nel nostro normale concetto di probabilità, quando parliamo di lanciare una moneta, potrebbe venire fuori di testa; può venire in coda; e può anche stare in piedi o (in qualche modo, come se fossimo incastrati in un veicolo spaziale mentre drogati e portati in orbita) galleggiare nell'aria per sempre. Ma, prima o dopo il sorteggio, code allo stesso tempo: sono risultati reciprocamente esclusivi nello spazio campione dell'esperimento (cercare "spazi campione probabilistici" e "sigma-algebre").

In secondo luogo, su tutta questa filosofia bayesiana / frequentista sugli intervalli di confidenza, è vero che si riferisce alle frequenze se si agisce come frequentatore. Quindi, quando diciamo che l'intervallo di confidenza per una media campionata e stimata è del 95%, non stiamo dicendo che siamo certi al 95% che il valore "reale" si trova tra i limiti. Stiamo dicendo che, se potessimo ripetere questo esperimento più e più volte, il 95% delle volte scopriremmo che la media era, in effetti, tra i limiti. Quando lo facciamo con una corsa, tuttavia, stiamo prendendo una scorciatoia mentale e dicendo "siamo certi al 95% di avere ragione".

Infine, non dimenticare quale sia l'impostazione standard su un test di ipotesi basato su un esperimento. Se vogliamo sapere se un ormone della crescita delle piante fa crescere le piante più velocemente, forse prima determiniamo la dimensione media di un pomodoro dopo 6 mesi di crescita. Quindi ripetiamo, ma con l'ormone, e otteniamo la dimensione media. La nostra ipotesi nulla è 'l'ormone non ha funzionato', e ci prova che . Ma se le piante testate sono, in media, più grandi, con una sicurezza del 99%, ciò significa che ci sarà sempre una variazione casuale dovuta alle piante e alla precisione con cui pesiamo, ma la quantità di casualità che spiegherebbe ciò si verificherebbe meno di una tempo tra cento ".


1

Il problema può essere caratterizzato come una confusione di probabilità anteriore e posteriore o forse come l'insoddisfazione di non conoscere la distribuzione congiunta di alcune variabili casuali.

Condizionata

n1nXYXYP(X=xY=y)=1/(n(n1))x,yN:={1,,n}xyP(X=x)=1/nP(Y=x)=1/nxN

tP(X=x)=1/nxNxNX=xP(X=x|Y=t)=P(X=xY=t)/P(Y=t)xt1/(n1)x=t0X=xY=tX=xX=xY=tP(X=x)=P(Y=x)=1/nxN

Non condizionare le prove significa ignorare le prove. Tuttavia, possiamo solo condizionare ciò che è espressibile nel modello probabilistico. Nel nostro esempio con le due palle dell'urna, non possiamo condizionare il tempo o come ci sentiamo oggi. Nel caso in cui abbiamo motivo di ritenere che tali prove siano rilevanti per l'esperimento, dobbiamo prima cambiare il nostro modello per consentirci di esprimere queste prove come eventi formali.

CC=1X<YP(C=1)=1/2tP(C=1|Y=t)=(t1)/(n1)P(C=1|Y=1)=0C=1P(C=1|Y=n)=1C=1P(C=1)=1/2

Intervallo di confidenza

X=(X1,,Xn)n(l,u)γXluRnθRP(l(X)θu(X))γ

C(l,u)C=1l(X)θu(X)P(C=1)γ

x=(x1,,xn)RnxiXiiC=1δ:=P(C=1|X=x)01(C=1X=x)((l(x)θu(x))X=x)l(x)θu(x)δ=0l(x)θu(x)X=xδ=1l(x)u(x)xδ{0,1}

P(C=1)γC=1x[l(x),u(x)][l(x),u(x)]θγ, significherebbe riconoscere questa prova e allo stesso tempo ignorarla.

Ulteriori informazioni, conoscenza di meno

δXYxRP(X=x)P(Y=x)P(X=xY=y)x,yR(X,Y)

Y=7XP(X=x)x(x,7)xRxP(X=x)Y=7Y=77P(X=x)X=xP(X=x|Y=7)=P(X=xY=7)/P(Y=7)

YX


0

Se dico che la probabilità che i Knicks abbiano segnato tra xbar - 2sd (x) e xbar + 2sd (x) è di circa 0,95 in un dato gioco in passato, questa è un'affermazione ragionevole data una particolare ipotesi distributiva sulla distribuzione dei punteggi di basket . Se raccolgo dati sui punteggi dati alcuni campioni di giochi e calcolo quell'intervallo, la probabilità che abbiano segnato in quell'intervallo in un dato giorno nel passato è chiaramente zero o uno, e puoi scoprire su Google il risultato del gioco. L'unica nozione che mantiene un zero o una probabilità per il frequentatore proviene da un campionamento ripetuto e la realizzazione della stima dell'intervallo di un particolare campione è il punto magico in cui è accaduto o non ha dato la stima dell'intervallo di quel campione . Non è il punto in cui si digita la password,

Questo è ciò che Dikran sostiene sopra e ho votato a favore della sua risposta. Il punto in cui campioni ripetuti sono fuori considerazione è il punto nel paradigma frequentista in cui la probabilità non discreta diventa non ottenibile , non quando si digita la password come nell'esempio sopra, o quando si google il risultato nel mio esempio del Gioco Knicks, ma il punto in cui il numero di campioni = 1.


0

modellismo

S=(Ω,Σ,P)EΣP(E)ESS

Il passaggio (1) può consentire un margine di manovra. L'adeguatezza della modellazione a volte può essere verificata confrontando la probabilità di determinati eventi con ciò che ci aspetteremmo intuitivamente. In particolare, osservare alcune probabilità marginali o condizionali può aiutare a farsi un'idea di quanto sia appropriata la modellazione.

X1,,XnDist(θ)θR

Stima dell'intervallo di confidenza

γLRRnP(L(X)θR(X))γX=(X1,,Xn)L(X)R(X)xRnL(x)θR(x)

Preferenze

γ1γ2γ1<γ2 avevauna maggiore probabilità di essere un biglietto vincente rispetto al primo quando sono stati estratti. Va bene una preferenza per le diverse osservazioni (i due ticket in questo esempio) basate sulle proprietà probabilistiche dei processi casuali che hanno generato le osservazioni. Nota che non diciamo che nessuno dei biglietti ha una maggiore probabilità di essere un biglietto vincente. Se mai lo dicessimo, allora con "probabilità" in senso colloquiale, il che potrebbe significare qualsiasi cosa, quindi è meglio evitarlo qui.

0.95

Esempio con un semplice prior

θP(θ=0)=P(θ=1)=1/2ϑRθ=ϑX1,,XnN(ϑ,1)L,RγϑRP(L(X)ϑR(X)|θ=ϑ)γP(L(X)θR(X))γ

xRn(X1,,Xn)θL(x)R(x)P(L(x)θR(x)|X=x)fμnμσ=1

P(L(x)θR(x)|X=x)={f0(x)f0(x)+f1(x)if L(x)0R(x)<1f1(x)f0(x)+f1(x)if 0<L(x)1R(x)1if L(x)0 and 1R(x)0else
γθL(X)θR(X)γ

θxx{μ0,μ1}={0,1}

P(θ=μ0|X=x)=fμ0(x)fμ0(x)+fμ1(x)

0

Se potessimo dire "la probabilità che il vero parametro risieda in questo intervallo di confidenza", non prenderemo in considerazione la dimensione del campione. Non importa quanto sia grande il campione, purché la media sia la stessa, l'intervallo di confidenza sarebbe ugualmente ampio. Ma quando diciamo "se lo ripeto 100 volte, allora mi aspetto che in 95 casi il vero parametro risieda nell'intervallo", stiamo prendendo in considerazione la dimensione della dimensione del campione e quanto sia sicura la nostra stima . Maggiore è la dimensione del campione, minore sarà la varianza della stima media. Quindi non varierà molto, e quando ripetiamo la procedura 100 volte, non abbiamo bisogno di un ampio intervallo per assicurarci che in 95 casi il vero parametro sia nell'intervallo.


Tieni presente che l'intervallo di confidenza è un concetto frequentista.
Michael Chernick,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.