Differenza tra la media dei dati quindi l'adattamento e l'adattamento dei dati quindi la media

Se ce ne sono, tra l'adattamento di una linea a più "esperimenti" separati, quindi la media degli adattamenti o la media dei dati dagli esperimenti separati, quindi l'adattamento dei dati medi. Lasciami elaborare:

Eseguo simulazioni al computer che generano una curva, mostrata di seguito. Estraiamo una quantità, chiamiamola "A" adattando la regione lineare della trama (tempi lunghi). Il valore è semplicemente la pendenza della regione lineare. C'è ovviamente un errore associato a questa regressione lineare.

Generalmente eseguiamo circa 100 di queste simulazioni con diverse condizioni iniziali per calcolare un valore medio di "A". Mi è stato detto che è meglio calcolare la media dei dati grezzi (della trama in basso) in gruppi di 10, quindi adattarsi a "A" e fare una media di quei 10 "A" insieme.

Non ho alcuna intuizione sul fatto che ci sia qualche merito a questo o se è meglio che adattarsi a 100 singoli valori "A" e fare una media di quelli.

error fitting average

— pragmatist1
fonte

Non sono sicuro di aver capito: misuri A in diversi punti nel tempo e quindi ? Quindi lo fai più volte e prendi la media di tutti ?

A = β_{0} + β_{1} t

$A= \beta_0 +\beta_1 t$

β_{1}

$\beta_1$

Scusa no. La trama sopra è il risultato di una singola simulazione (chiamiamola esperimento). La regione non lineare iniziale viene scartata, quindi adattiamo una linea alla porzione lineare e otteniamo la pendenza, "A". Quindi un'intera simulazione produce una singola stima di "A". Ovviamente la mia domanda ruota intorno al fatto che la media di molti grafici quindi il calcolo di A sia diverso dal semplice calcolo di A per un gruppo di grafici e la loro media. Spero che questo chiarisca.

— pragmatist1

Non vedo perché questo farebbe la differenza? (se le ipotesi di regressione lineare sono soddisfatte)

Immagino che il raccordo non vada mai storto / non converga / dia stime ridicolmente ripide a causa degli esperimenti che sono piccoli? Sarebbe qualcosa con cui combinare prima (o modelli gerarchici) potrebbe aiutare.

— Björn,

Potresti anche mettere insieme tutti i dati, ma includere un qualche tipo di componente per differenziare tra esperimenti (intercettazioni diverse per ogni esperimento, o persino pendenze diverse), qualcosa come un approccio lineare modello misto. In questo modo puoi approssimare una pendenza complessiva, ma sarebbe in grado di identificare eventuali effetti "batch" o differenze tra gli esperimenti

— bdeonovic

Risposte:

Immagina di trovarci in un contesto di dati panel in cui vi sono variazioni nel tempo e tra le aziende . Pensa a ogni periodo di tempo come a un esperimento separato. Capisco la tua domanda come se sia equivalente a stimare un effetto usando: $t$ $i$ $t$

Variazione trasversale delle medie delle serie storiche.
Medie delle serie temporali di variazione trasversale.

La risposta in generale è no.

Il set up:

Nella mia formulazione, possiamo considerare ogni periodo di tempo come un esperimento separato. $t$

Diciamo che hai un pannello bilanciato di lunghezza su aziende. Se dividiamo ogni periodo di tempo ecc ... possiamo scrivere i dati complessivi come: $T$ $n$ $(X_t, \mathbf{y}_t)$

Y = [\begin{matrix} y_{1} \\ y_{2} \\ \dots \\ y_{n} \end{matrix}] X = [\begin{matrix} X_{1} \\ X_{2} \\ \dots \\ X_{n} \end{matrix}]

$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$

Media di accoppiamenti:

\begin{aligned} \frac{1}{T} \sum_{t} b_{t} & = \frac{1}{T} \sum_{t} {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{t} \\ = \frac{1}{T} \sum_{t} S_{t}^{- 1} (\frac{1}{n} \sum_{i} x_{t, i} y_{t, i}) where S_{t} = \frac{1}{n} \sum_{i} x_{t, i} x_{t, i}^{'} \end{aligned}

$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$

Misura delle medie:

Questo non è in generale uguale alla stima basata sulla variazione trasversale delle medie delle serie temporali (cioè tra lo stimatore).

{(\frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{x}}_{i}^{'})}^{- 1} \frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{y}}_{i}

$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$

Dove ecc ... $\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

Stima OLS aggregata:

Qualcosa di forse utile a cui pensare è la stima OLS aggregata. Che cos'è? Quindi usa

\begin{aligned} \hat{b} & = {(X^{'} X)}^{- 1} X^{'} Y \\ = {(\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T} \sum_{t} X_{t}^{'} y_{i}) \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$

b_{t} = {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{i}

$\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$

\begin{aligned} = {(\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t} b_{t}) \end{aligned}

$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$

Let e essere le nostre stime di sull'intero campione e nel periodo rispettivamente. Poi abbiamo: $S = \frac{1}{nT} \sum_i X'X$ $S_t = \frac{1}{n} X_t'X_t$ $\operatorname{E}[\mathbf{x}\mathbf{x}']$ $t$

\begin{aligned} \hat{b} & = \frac{1}{T} \sum_{t} (S^{- 1} S_{t}) b_{t} \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$

Questo è un po 'come una media delle diverse stime specifiche del tempo , ma è un po' diverso. In un certo senso, stai dando più peso ai periodi con una maggiore varianza delle variabili del lato destro. $\mathbf{b}_t$

Caso particolare: le variabili del lato destro sono invarianti nel tempo e specifiche dell'azienda

Se le variabili giuste lato per ciascuna impresa sono costanti nel tempo (cioè per qualsiasi e ) quindi per tutti e avremmo: $i$ $X_{t_1} = X_{t_2}$ $t_1$ $t_2$ $S = S_t$ $t$

\hat{b} = \frac{1}{T} \sum_{t} b_{t}

$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$

Commento divertente:

Questo è il caso di Fama e Macbeth in cui hanno applicato questa tecnica di calcolo della media delle stime trasversali per ottenere errori standard coerenti nella stima di come i rendimenti attesi variano con la covarianza delle imprese con il mercato (o altri fattori di carico).

La procedura Fama-Macbeth è un modo intuitivo per ottenere errori standard coerenti nel contesto del pannello quando i termini di errore sono correlati in modo trasversale ma indipendenti nel tempo. Una tecnica più moderna che produce risultati simili è il raggruppamento in tempo.

— Matthew Gunn
fonte

(Nota: non ho abbastanza reputazione per commentare, quindi pubblicherò questo come risposta.)

Per la particolare domanda posta, la risposta di fcop è corretta: l'adattamento della media equivale alla media degli adattamenti (almeno per i minimi quadrati lineari). Tuttavia, vale la pena ricordare che uno di questi approcci " online " ingenui può dare risultati distorti, rispetto all'adattamento di tutti i dati contemporaneamente. Poiché i due sono equivalenti, mi concentrerò sull'approccio "adatta alla media". In sostanza, adattando le curve medie ignora l' incertezza relativa nei valori tra punti diversi . Ad esempio se , e , quindi $\bar{y}[x]=\langle y[x]\rangle$ $y$ $x$ $y_1[x_1]=y_2[x_1]=2$ $y_1[x_2]=1$ $y_1[x_2]=3$ $\bar{y}[x_1]=\bar{y}[x_2]=2$ , ma qualsiasi adattamento alla curva dovrebbe interessarsi molto di più all'adattamento a rispetto a . $x_1$ $x_2$

Si noti che la maggior parte delle piattaforme software scientifiche dovrebbe disporre di strumenti per calcolare / aggiornare un vero fit dei minimi quadrati "online" (noto come minimi quadrati ricorsivi ). Quindi tutti i dati possono essere utilizzati (se questo è desiderabile).

— GeoMatt22
fonte

La risposta inviata da fcop è stata eliminata. Potresti voler modificare leggermente la tua risposta

— Glen_b -Restate Monica