Sto cercando di capire l'errore standard "clustering" e come eseguire in R (è banale in Stata). Nel RI non hanno avuto successo usando plmo scrivendo la mia funzione. Userò i diamondsdati dalggplot2 pacchetto.
Posso fare effetti fissi con entrambe le variabili fittizie
> library(plyr)
> library(ggplot2)
> library(lmtest)
> library(sandwich)
> # with dummies to create fixed effects
> fe.lsdv <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
> ct.lsdv <- coeftest(fe.lsdv, vcov. = vcovHC)
> ct.lsdv
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.082 24.892 316.207 < 2.2e-16 ***
factor(cut)Fair -3875.470 51.190 -75.707 < 2.2e-16 ***
factor(cut)Good -2755.138 26.570 -103.692 < 2.2e-16 ***
factor(cut)Very Good -2365.334 20.548 -115.111 < 2.2e-16 ***
factor(cut)Premium -2436.393 21.172 -115.075 < 2.2e-16 ***
factor(cut)Ideal -2074.546 16.092 -128.920 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 o per de-significando entrambi i lati sinistro e destro (qui non ci sono regressori invarianti di tempo) e correggendo i gradi di libertà.
> # by demeaning with degrees of freedom correction
> diamonds <- ddply(diamonds, .(cut), transform, price.dm = price - mean(price), carat.dm = carat .... [TRUNCATED]
> fe.dm <- lm(price.dm ~ carat.dm + 0, data = diamonds)
> ct.dm <- coeftest(fe.dm, vcov. = vcovHC, df = nrow(diamonds) - 1 - 5)
> ct.dm
t test of coefficients:
Estimate Std. Error t value Pr(>|t|)
carat.dm 7871.082 24.888 316.26 < 2.2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Non posso replicare questi risultati con plm, perché non ho un indice "time" (cioè, questo non è in realtà un pannello, solo cluster che potrebbero avere una propensione comune nei loro termini di errore).
> plm.temp <- plm(price ~ carat, data = diamonds, index = "cut")
duplicate couples (time-id)
Error in pdim.default(index[[1]], index[[2]]) : Ho anche cercato di codice mia matrice di covarianza con errore standard cluster utilizzando spiegazione Stata della loro clusteropzione ( spiegato qui ), che è quello di risolvere V c l u s t e r = ( X ' X ) - 1 ( n c Σ j = 1 u ′ j u j ) ( X ′ X ) - 1 dove u j = ∑ c l u s
, n c si il numero di cluster, e i è il residuo per l'osservazione i t h e x i è il vettore di riga dei predittori, inclusa la costante (questo appare anche come equazione (7.22 ) nellasezione trasversale e nei dati del panel diWooldridge). Ma il codice seguente fornisce matrici di covarianza molto grandi. Questi valori molto grandi sono dati dal numero limitato di cluster che ho? Dato che non riescoa fare cluster su un fattore, non sono sicuro di come confrontare il mio codice.
plm
> # with cluster robust se
> lm.temp <- lm(price ~ carat + factor(cut) + 0, data = diamonds)
>
> # using the model that Stata uses
> stata.clustering <- function(x, clu, res) {
+ x <- as.matrix(x)
+ clu <- as.vector(clu)
+ res <- as.vector(res)
+ fac <- unique(clu)
+ num.fac <- length(fac)
+ num.reg <- ncol(x)
+ u <- matrix(NA, nrow = num.fac, ncol = num.reg)
+ meat <- matrix(NA, nrow = num.reg, ncol = num.reg)
+
+ # outer terms (X'X)^-1
+ outer <- solve(t(x) %*% x)
+
+ # inner term sum_j u_j'u_j where u_j = sum_i e_i * x_i
+ for (i in seq(num.fac)) {
+ index.loop <- clu == fac[i]
+ res.loop <- res[index.loop]
+ x.loop <- x[clu == fac[i], ]
+ u[i, ] <- as.vector(colSums(res.loop * x.loop))
+ }
+ inner <- t(u) %*% u
+
+ #
+ V <- outer %*% inner %*% outer
+ return(V)
+ }
> x.temp <- data.frame(const = 1, diamonds[, "carat"])
> summary(lm.temp)
Call:
lm(formula = price ~ carat + factor(cut) + 0, data = diamonds)
Residuals:
Min 1Q Median 3Q Max
-17540.7 -791.6 -37.6 522.1 12721.4
Coefficients:
Estimate Std. Error t value Pr(>|t|)
carat 7871.08 13.98 563.0 <2e-16 ***
factor(cut)Fair -3875.47 40.41 -95.9 <2e-16 ***
factor(cut)Good -2755.14 24.63 -111.9 <2e-16 ***
factor(cut)Very Good -2365.33 17.78 -133.0 <2e-16 ***
factor(cut)Premium -2436.39 17.92 -136.0 <2e-16 ***
factor(cut)Ideal -2074.55 14.23 -145.8 <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1511 on 53934 degrees of freedom
Multiple R-squared: 0.9272, Adjusted R-squared: 0.9272
F-statistic: 1.145e+05 on 6 and 53934 DF, p-value: < 2.2e-16
> stata.clustering(x = x.temp, clu = diamonds$cut, res = lm.temp$residuals)
const diamonds....carat..
const 11352.64 -14227.44
diamonds....carat.. -14227.44 17830.22Questo può essere fatto in R? È una tecnica abbastanza comune in econometria (c'è un breve tutorial in questa lezione ), ma non riesco a capirlo in R. Grazie!
7
@ricardh, maledici tutti gli economisti per non aver verificato se il termine che vogliono usare sia già usato nelle statistiche. Cluster in questo contesto significa gruppo ed è totalmente estraneo all'analisi dei cluster, ecco perché rseek ti ha dato risultati non correlati. Quindi ho rimosso il tag di clustering. Per l'analisi dei dati del pannello, consultare il pacchetto plm . Ha una bella vignetta, quindi potresti trovare quello che vuoi. Per quanto riguarda la tua domanda non è chiaro cosa vuoi. All'interno degli errori standard del gruppo?
—
mpiktas,
@ricardh, sarebbe di grande aiuto se potessi collegarti ad un manuale di Stata in cui questa
—
mpiktas il
clusteropzione è spiegata. Sono sicuro che sarebbe possibile replicare in R.
+1 per quel commento. gli economisti colonizzano la terminologia come un matto. Anche se a volte è difficile scegliere il cattivo. Ii ha impiegato un po 'di tempo, ad esempio fino a quando ho capito che
—
hans0l0,
factornon aveva nulla a che fare con, factanalma si riferisce a variabili classificate. Comunque il cluster in R si riferisce all'analisi del cluster, k- mean è solo IL metodo di partizionamento: statmethods.net/advstats/cluster.html . Non capisco la tua domanda, ma immagino anche che il cluster non abbia nulla a che fare con esso.
@mpiktas, @ ran2 - Grazie! Spero di aver chiarito la domanda. In breve, perché esiste il "clustering di errori standard" se si tratta solo di effetti fissi, che esistevano già?
—
Richard Herron,