Grafico a dispersione con troppi punti

Sto cercando di tracciare due variabili in cui N = 700K. Il problema è che c'è troppa sovrapposizione, in modo che la trama diventi per lo più un solido blocco di nero. Esiste un modo per avere una "nuvola" in scala di grigi in cui l'oscurità della trama è una funzione del numero di punti in una regione? In altre parole, invece di mostrare singoli punti, voglio che la trama sia una "nuvola", con più il numero di punti in una regione, più scura è quella regione.

Un modo per gestirlo è la fusione alfa, che rende ciascun punto leggermente trasparente. Quindi le regioni appaiono più scure con più punti tracciati su di esse.

Questo è facile da fare in ggplot2:

df <- data.frame(x = rnorm(5000),y=rnorm(5000))
ggplot(df,aes(x=x,y=y)) + geom_point(alpha = 0.3)

Un altro modo conveniente per affrontare questo è (e probabilmente più appropriato per il numero di punti che hai) è il binning esagonale:

ggplot(df,aes(x=x,y=y)) + stat_binhex()

E c'è anche il vecchio binning rettangolare regolare (immagine omessa), che è più simile alla tua mappa di calore tradizionale:

ggplot(df,aes(x=x,y=y)) + geom_bin2d()

Puoi anche dare un'occhiata al ggsubplotpacchetto. Questo pacchetto implementa le funzionalità presentate da Hadley Wickham nel 2011 ( http://blog.revolutionanalytics.com/2011/10/ggplot2-for-big-data.html ).

(Di seguito, includo il giocatore "punti" a scopo illustrativo.)

library(ggplot2)
library(ggsubplot)

# Make up some data
set.seed(955)
dat <- data.frame(cond = rep(c("A", "B"), each=5000),
                  xvar = c(rep(1:20,250) + rnorm(5000,sd=5),rep(16:35,250) + rnorm(5000,sd=5)),
                  yvar = c(rep(1:20,250) + rnorm(5000,sd=5),rep(16:35,250) + rnorm(5000,sd=5)))


# Scatterplot with subplots (simple)
ggplot(dat, aes(x=xvar, y=yvar)) +
  geom_point(shape=1) +
  geom_subplot2d(aes(xvar, yvar,
                     subplot = geom_bar(aes(rep("dummy", length(xvar)), ..count..))), bins = c(15,15), ref = NULL, width = rel(0.8), ply.aes = FALSE)

Tuttavia, questa funzionalità oscilla se hai una terza variabile da controllare.

# Scatterplot with subplots (including a third variable) 

ggplot(dat, aes(x=xvar, y=yvar)) +
  geom_point(shape=1, aes(color = factor(cond))) +
  geom_subplot2d(aes(xvar, yvar,
                     subplot = geom_bar(aes(cond, ..count.., fill = cond))),
                 bins = c(15,15), ref = NULL, width = rel(0.8), ply.aes = FALSE)  

O un altro approccio sarebbe quello di usare smoothScatter():

smoothScatter(dat[2:3])

Una panoramica di diverse buone opzioni in ggplot2:

library(ggplot2)
x <- rnorm(n = 10000)
y <- rnorm(n = 10000, sd=2) + x
df <- data.frame(x, y)

Opzione A: punti trasparenti

o1 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.05)

Opzione B: aggiungere contorni di densità

o2 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.05) +
  geom_density_2d()

Opzione C: aggiungere contorni di densità riempiti

o3 <- ggplot(df, aes(x, y)) +
  stat_density_2d(aes(fill = stat(level)), geom = 'polygon') +
  scale_fill_viridis_c(name = "density") +
  geom_point(shape = '.')

Opzione D: mappa termica della densità

o4 <- ggplot(df, aes(x, y)) +
  stat_density_2d(aes(fill = stat(density)), geom = 'raster', contour = FALSE) +       
  scale_fill_viridis_c() +
  coord_cartesian(expand = FALSE) +
  geom_point(shape = '.', col = 'white')

Opzione E: hexbins

o5 <- ggplot(df, aes(x, y)) +
  geom_hex() +
  scale_fill_viridis_c() +
  geom_point(shape = '.', col = 'white')

Opzione F: tappeti

o6 <- ggplot(df, aes(x, y)) +
  geom_point(alpha = 0.1) +
  geom_rug(alpha = 0.01)

Combina in una sola figura:

cowplot::plot_grid(
  o1, o2, o3, o4, o5, o6,
  ncol = 2, labels = 'AUTO', align = 'v', axis = 'lr'
)

La fusione alfa è facile anche con la grafica di base.

df <- data.frame(x = rnorm(5000),y=rnorm(5000))
with(df, plot(x, y, col="#00000033"))

I primi sei numeri dopo il #sono il colore in esadecimale RGB e gli ultimi due sono l'opacità, sempre in esadecimale, quindi 33 ~ 3 / sedicesimo opaco.

Puoi anche usare le curve di livello ( ggplot2):

df <- data.frame(x = rnorm(15000),y=rnorm(15000))
ggplot(df,aes(x=x,y=y)) + geom_point() + geom_density2d()

Oppure combina i contorni della densità con la fusione alfa:

ggplot(df,aes(x=x,y=y)) + 
    geom_point(colour="blue", alpha=0.2) + 
    geom_density2d(colour="black")

Potrebbe esserti utile il hexbinpacchetto. Dalla pagina di aiuto di hexbinplot:

library(hexbin)
mixdata <- data.frame(x = c(rnorm(5000),rnorm(5000,4,1.5)),
                      y = c(rnorm(5000),rnorm(5000,2,3)),
                      a = gl(2, 5000))
hexbinplot(y ~ x | a, mixdata)

geom_pointdenistydal ggpointdensitypacchetto (recentemente sviluppato da Lukas Kremer e Simon Anders (2019)) consente di visualizzare la densità e i singoli punti dati allo stesso tempo:

library(ggplot2)
# install.packages("ggpointdensity")
library(ggpointdensity)

df <- data.frame(x = rnorm(5000), y = rnorm(5000))
ggplot(df, aes(x=x, y=y)) + geom_pointdensity() + scale_color_viridis_c()

Il mio metodo preferito per tracciare questo tipo di dati è quello descritto in questa domanda : un diagramma a densità di dispersione . L'idea è di fare un diagramma a dispersione ma di colorare i punti in base alla loro densità (approssimativamente parlando, la quantità di sovrapposizione in quell'area).

Allo stesso tempo:

• mostra chiaramente la posizione dei valori anomali e
• rivela qualsiasi struttura nell'area densa della trama.

Ecco il risultato dalla risposta in alto alla domanda collegata: