Probabilità ≠ bayesiana con priore piatto
La funzione di probabilità e l'intervallo di confidenza associato non sono gli stessi (concetto) di una probabilità posteriore bayesiana costruita con un precedente che specifica una distribuzione uniforme.
Nelle parti 1 e 2 di questa risposta si discute perché la probabilità non dovrebbe essere vista come una probabilità posteriore bayesiana basata su un precedente piatto.
Nella parte 3 viene fornito un esempio in cui l'intervallo di confidenza e l'intervallo credibile sono ampiamente variabili. Inoltre viene sottolineato come sorge questa discrepanza.
1 Comportamento diverso quando la variabile viene trasformata
Le probabilità si trasformano in un modo particolare . Se conosciamo la distribuzione della distribuzione di probabilità fX( x ) allora conosciamo anche la distribuzione di per la variabile definita da qualsiasi funzione , secondo la regola di trasformazione:fξ( ξ)ξx = χ ( ξ)
fξ( ξ) = fX( χ ( ξ) ) dχdξdξ
Se trasformi una variabile, la media e la modalità possono variare a causa di questa modifica della funzione di distribuzione. Ciò significa e .X¯≠ χ ( ξ¯)Xmax f( x )≠ χ ( ξmax f( ξ))
La funzione di verosimiglianza non si trasforma in questo modo . Questo è il contrasto tra la funzione di verosimiglianza e la probabilità posteriore. La funzione di verosimiglianza (massima) rimane invariata quando si trasforma la variabile.
Lξ( ξ) = LX( χ ( ξ) )
Relazionato:
Il priore piatto è ambiguo . Dipende dalla forma della statistica particolare.
Ad esempio, se è distribuito uniformemente (es. , allora non è una variabile distribuita uniforme.XU( 0 , 1 ) )X2
Non esiste un singolo flat prima del quale è possibile correlare la funzione Likelihood. È diverso quando si definisce il flat precedente per o una variabile trasformata come . Per la probabilità questa dipendenza non esiste.XX2
I limiti delle probabilità (intervalli di credibilità) saranno diversi quando si trasforma la variabile (per le funzioni di probabilità questo non è il caso) . Ad esempio, per alcuni parametri ed una monotona trasformazione (ad es logaritmo) si ottengono i corrispondenti intervalli di probabilità
un'f( Un )a min < a < a max f ( a min ) < f ( a ) < f ( a max )un'minf( amin)<<un'f( Un )<<un'maxf( amax)
2 Concetto diverso: gli intervalli di confidenza sono indipendenti dal precedente
Supponiamo di campionare una variabile da una popolazione con parametro (sconosciuto) che a sua volta (la popolazione con parametro ) viene campionata da una superpopolazione (con valori eventualmente variabili per ).Xθθθ
Si può fare una dichiarazione inversa cercando di dedurre ciò che l'originale potrebbe essere stato sulla base di osservare alcuni valori per la variabile .θXioX
- I metodi bayesiani lo fanno supponendo una distribuzione precedente per la distribuzione di possibiliθ
- Ciò contrasta con la funzione di probabilità e l'intervallo di confidenza, che sono indipendenti dalla distribuzione precedente.
L'intervallo di confidenza non utilizza le informazioni di un precedente come l'intervallo credibile (la confidenza non è una probabilità).
Indipendentemente dalla distribuzione precedente (uniforme o no), l'intervallo di confidenza x% conterrà il parametro vero in dei casiX (gli intervalli di confidenza si riferiscono al tasso di successo, errore di tipo I, del metodo, non di un caso particolare) .
Nel caso dell'intervallo credibile questo concetto ( del tempo in cui l'intervallo contiene il parametro vero) non è nemmeno applicabile, ma possiamo interpretarlo in senso frequentista e quindi osserviamo che l'intervallo credibile conterrà il parametro vero solo delle volte in cui il precedente (uniforme) sta descrivendo correttamente la superpopolazione di parametri che potremmo incontrare. L'intervallo potrebbe effettivamente essere più alto o più basso di x% (non importa che l'approccio bayesiano risponda a domande diverse, ma è solo per notare la differenza).X
3 Differenza tra confidenza e intervalli credibili
Nell'esempio seguente esaminiamo la funzione di probabilità per la distribuzione esponenziale come funzione del parametro rate , la media del campione e la dimensione del campione :λX¯n
L (λ, x¯, n ) = nn( n - 1 ) !Xn - 1λne- λ n x¯
questa funzione esprime la probabilità di osservare (per un dato e ) una media campionaria tra e .nλX¯X¯+ dX
nota: il parametro rate va da a (diversamente dalla 'richiesta' OP da a ). Il priore in questo caso sarà un priore improprio . I principi tuttavia non cambiano. Sto usando questa prospettiva per un'illustrazione più semplice. Le distribuzioni con parametri compresi tra e sono spesso distribuzioni discrete (difficile disegnare linee continue) o una distribuzione beta (difficile da calcolare)λ0∞0101
L'immagine seguente illustra questa funzione di probabilità (la mappa colorata di blu), per la dimensione del campione , e traccia anche i limiti per gli intervalli del 95% (sia confidenziali che credibili).n = 4
I confini vengono creati ottenendo la funzione di distribuzione cumulativa (unidimensionale). Ma questa integrazione / cumulo può essere fatta in due direzioni .
La differenza tra gli intervalli si verifica perché le aree del 5% sono realizzate in modi diversi.
L'intervallo di confidenza al 95% contiene valori per i quali il valore osservato si verificherebbe almeno nel 95% dei casi. In questo modo. qualunque sia il valore , un giudizio errato solo nel 95% dei casi.λX¯λ
Per ogni hai nord e sud dei confini (cambiando ) il 2,5% del peso della funzione di verosimiglianza.λX¯
L'intervallo credibile al 95% contiene valori che hanno maggiori probabilità di causare il valore osservato (dato un precedente piatto).λX¯
Anche quando il risultato osservato una probabilità inferiore al 5% per un dato , il particolare potrebbe trovarsi all'interno dell'intervallo credibile. Nell'esempio particolare i valori più alti di sono "preferiti" per l'intervallo credibile.X¯λλλ
Per ogni hai ovest e est dei confini (cambiando ) il 2,5% del peso della funzione di verosimiglianza.X¯λ
Un caso in cui l'intervallo di confidenza e l'intervallo credibile (basato su un precedente improprio) coincidono è per stimare la media di una variabile distribuita gaussiana (la distribuzione è illustrata qui: https://stats.stackexchange.com/a/351333/164061 ).
Un caso ovvio in cui l'intervallo di confidenza e l'intervallo credibile non coincidono è illustrato qui ( https://stats.stackexchange.com/a/369909/164061 ). L'intervallo di confidenza per questo caso può avere uno o anche entrambi i limiti (superiore / inferiore) all'infinito.