Distribuzione campionaria dei coefficienti di regressione

In precedenza avevo appreso delle distribuzioni di campionamento che davano risultati che erano per lo stimatore, in termini di parametro sconosciuto. Ad esempio, per le distribuzioni di campionamento di e nel modello di regressione lineare $\hat\beta_0$ $\hat\beta_1$ $Y_i = \beta_o + \beta_1 X_i + \varepsilon_i$

{\hat{β}}_{0} \sim N (β_{0}, σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}))

$\hat{\beta}_0 \sim \mathcal N \left(\beta_0,~\sigma^2\left(\frac{1}{n}+\frac{\bar{x}^2}{S_{xx}}\right)\right)$ e

{\hat{β}}_{1} \sim N (β_{1}, \frac{σ^{2}}{S_{x x}})

$\hat{\beta}_1 \sim \mathcal N \left(\beta_1,~\frac{\sigma^2}{S_{xx}}\right)$

dove $S_{xx} = \sum_{i=1}^n (x_i^2) -n \bar{x}^2$

Ma ora ho visto quanto segue in un libro :

Supponiamo di adattare il modello con i minimi quadrati nel solito modo. Considera la distribuzione posteriore bayesiana e scegli i priori in modo che questo sia equivalente alla solita distribuzione di campionamento frequentista, cioè ......

$(\begin{matrix} β_{0} \\ β_{1} \end{matrix}) \sim N_{2} [(\begin{matrix} {\hat{β}}_{1} \\ {\hat{β}}_{2} \end{matrix}), {\hat{σ}}^{2} {(\begin{matrix} n & \sum_{i = 1}^{n} x_{i} \\ \sum_{i = 1}^{n} x_{i} & \sum_{i = 1}^{n} x_{i}^{2} \end{matrix})}^{- 1}]$ $\left( \begin{matrix} \beta_0 \\ \beta_1 \end{matrix} \right) \sim \mathcal N_2\left[\left(\begin{matrix} \hat{\beta}_1 \\ \hat{\beta}_2 \end{matrix} \right),~\hat{\sigma}^2 \left(\begin{matrix} n & \sum_{i=1}^{n}x_i \\ \sum_{i=1}^{n}x_i & \sum_{i=1}^{n}x_i^2 \end{matrix} \right) ^{-1}\right]$

Questo mi confonde perché:

Perché le stime appaiono sul lato sinistro (lhs) delle prime 2 espressioni e sul lato destro (rhs) dell'ultima espressione?
Perché i cappelli beta nell'ultima espressione hanno 1 e 2 pedici invece di 0 e 1?
Queste sono solo rappresentazioni diverse della stessa cosa? Se lo sono, qualcuno potrebbe mostrarmi come sono equivalenti? In caso contrario, qualcuno potrebbe spiegare la differenza?
È il caso che l'ultima espressione sia l '"inversione" dei primi due? È per questo che la matrice 2x2 nell'ultima espressione è invertita e le stime / i parametri sono commutati da rhs lhs? Se è così qualcuno potrebbe mostrarmi come passare dall'uno agli altri? $\leftrightarrow$

— Joe King
fonte

Questa parte riguarda principalmente la tua prima, terza e quarta domanda:

C'è una differenza fondamentale tra le statistiche bayesiane e le statistiche frequentiste.

Le statistiche del frequentista fanno deduzione su quali valori di parametri fissi sono coerenti con i dati visti come casuali, di solito tramite la probabilità. Prendi (alcuni parametri o parametri) come fisso ma sconosciuto e vedi quali rendono i dati più probabili; esamina le proprietà del campionamento da alcuni modelli dati i parametri per fare deduzione su dove potrebbero essere i parametri. (Un bayesiano potrebbe dire che l'approccio frequentista si basa su "le frequenze delle cose che non sono accadute") $\theta$

Le statistiche bayesiane esaminano le informazioni sui parametri in termini di distribuzione di probabilità su di esse, che viene aggiornata dai dati, tramite la probabilità. I parametri hanno distribuzioni, quindi dai un'occhiata a . $P(\theta|\underline{x})$

Ciò si traduce in cose che spesso sembrano simili ma in cui le variabili in un certo senso sembrano "nel modo sbagliato", viste attraverso l'obiettivo dell'altro modo di pensarci.

Quindi, fondamentalmente sono cose in qualche modo diverse , e il fatto che le cose che si trovano sull'LHS dell'una siano sull'RHS dell'altra non è un caso.

Se fai un po 'di lavoro con entrambi, diventa presto ragionevolmente chiaro.

La seconda domanda mi sembra riguardare semplicemente un errore di battitura.

---

l'affermazione "equivalente alla solita distribuzione campionaria frequentista, cioè": ho preso questo per indicare che gli autori stavano affermando la distribuzione campionaria frequentista. L'ho letto male?

Ci sono due cose che stanno succedendo lì: hanno espresso qualcosa di un po 'vagamente (le persone fanno sempre questo particolare tipo di espressione troppo libera), e penso che tu lo stia anche interpretando in modo diverso dall'intento.

Cosa significa esattamente l'espressione che danno, allora?

Speriamo che la discussione che segue aiuterà a chiarire il senso voluto.

Se puoi fornire un riferimento (pref. Online poiché non ho un buon accesso alla biblioteca) da cui deriva questa espressione, ti sarei grato.

Segue proprio da qui:

http://en.wikipedia.org/wiki/Bayesian_linear_regression

prendendo priori piatti su $\beta$ $\sigma^2$

Il motivo è che il posteriore è quindi proporzionale alla probabilità e gli intervalli generati dai posteriori sui parametri corrispondono agli intervalli di confidenza del frequentatore per i parametri.

Potresti trovare utili anche le prime pagine qui .

— Glen_b -Restate Monica
fonte

Grazie, questo è utile. Ho già fatto un po 'di statistiche bayesiane. Sono comunque un po 'confuso, a causa dell'affermazione "equivalente alla consueta distribuzione campionaria frequentista, cioè" : ho preso questo per indicare che gli autori stavano affermando la distribuzione campionaria frequentista. L'ho letto male? Cosa significa esattamente l'espressione che danno, allora? Se puoi fornire un riferimento (pref. Online poiché non ho un buon accesso alla biblioteca) da cui deriva questa espressione, ti sarei grato.

— Joe King,

Joe - vedi la mia modifica sopra

— Glen_b -Restate Monica