filtro per casi completi in data.frame utilizzando dplyr (eliminazione in base al caso)

È possibile filtrare un data.frame per casi completi utilizzando dplyr? complete.casescon un elenco di tutte le variabili funziona, ovviamente. Ma questo è a) verboso quando ci sono molte variabili eb) impossibile quando i nomi delle variabili non sono noti (ad esempio in una funzione che elabora qualsiasi data.frame).

library(dplyr)
df = data.frame(
    x1 = c(1,2,3,NA),
    x2 = c(1,2,NA,5)
)

df %.%
  filter(complete.cases(x1,x2))

Prova questo:

df %>% na.omit

o questo:

df %>% filter(complete.cases(.))

o questo:

library(tidyr)
df %>% drop_na

Se vuoi filtrare in base alla mancanza di una variabile, usa un condizionale:

df %>% filter(!is.na(x1))

o

df %>% drop_na(x1)

Altre risposte indicano che delle soluzioni precedenti na.omitè molto più lenta, ma deve essere bilanciata con il fatto che restituisce gli indici di riga delle righe omesse na.actionnell'attributo mentre le altre soluzioni sopra non lo fanno.

str(df %>% na.omit)
## 'data.frame':   2 obs. of  2 variables:
##  $ x1: num  1 2
##  $ x2: num  1 2
##  - attr(*, "na.action")= 'omit' Named int  3 4
##    ..- attr(*, "names")= chr  "3" "4"

AGGIUNTO Hanno aggiornato per riflettere l'ultima versione di dplyr e commenti.

AGGIUNTO Hanno aggiornato per riflettere l'ultima versione di tidyr e commenti.

Questo funziona per me:

df %>%
  filter(complete.cases(df))    

O un po 'più generale:

library(dplyr) # 0.4
df %>% filter(complete.cases(.))

Ciò avrebbe il vantaggio che i dati avrebbero potuto essere modificati nella catena prima di passarli al filtro.

Un altro benchmark con più colonne:

set.seed(123)
x <- sample(1e5,1e5*26, replace = TRUE)
x[sample(seq_along(x), 1e3)] <- NA
df <- as.data.frame(matrix(x, ncol = 26))
library(microbenchmark)
microbenchmark(
  na.omit = {df %>% na.omit},
  filter.anonymous = {df %>% (function(x) filter(x, complete.cases(x)))},
  rowSums = {df %>% filter(rowSums(is.na(.)) == 0L)},
  filter = {df %>% filter(complete.cases(.))},
  times = 20L,
  unit = "relative")

#Unit: relative
#             expr       min        lq    median         uq       max neval
 #         na.omit 12.252048 11.248707 11.327005 11.0623422 12.823233    20
 #filter.anonymous  1.149305  1.022891  1.013779  0.9948659  4.668691    20
 #         rowSums  2.281002  2.377807  2.420615  2.3467519  5.223077    20
 #          filter  1.000000  1.000000  1.000000  1.0000000  1.000000    20

Ecco alcuni risultati di riferimento per la risposta di Grothendieck. na.omit () impiega 20 volte più tempo delle altre due soluzioni. Penso che sarebbe bello se dplyr avesse una funzione per questo, magari come parte del filtro.

library('rbenchmark')
library('dplyr')

n = 5e6
n.na = 100000
df = data.frame(
    x1 = sample(1:10, n, replace=TRUE),
    x2 = sample(1:10, n, replace=TRUE)
)
df$x1[sample(1:n, n.na)] = NA
df$x2[sample(1:n, n.na)] = NA


benchmark(
    df %>% filter(complete.cases(x1,x2)),
    df %>% na.omit(),
    df %>% (function(x) filter(x, complete.cases(x)))()
    , replications=50)

#                                                  test replications elapsed relative
# 3 df %.% (function(x) filter(x, complete.cases(x)))()           50   5.422    1.000
# 1               df %.% filter(complete.cases(x1, x2))           50   6.262    1.155
# 2                                    df %.% na.omit()           50 109.618   20.217

Questa è una breve funzione che ti consente di specificare colonne (praticamente tutto ciò che dplyr::selectpuò capire) che non dovrebbero avere alcun valore NA (modellato dopo pandas df.dropna () ):

drop_na <- function(data, ...){
    if (missing(...)){
        f = complete.cases(data)
    } else {
        f <- complete.cases(select_(data, .dots = lazyeval::lazy_dots(...)))
    }
    filter(data, f)
}

[ drop_na ora fa parte di tidyr : quanto sopra può essere sostituito da library("tidyr")]

Esempi:

library("dplyr")
df <- data.frame(a=c(1,2,3,4,NA), b=c(NA,1,2,3,4), ac=c(1,2,NA,3,4))
df %>% drop_na(a,b)
df %>% drop_na(starts_with("a"))
df %>% drop_na() # drops all rows with NAs

prova questo

df[complete.cases(df),] #output to console

O anche questo

df.complete <- df[complete.cases(df),] #assign to a new data.frame

I comandi precedenti si occupano di verificare la completezza di tutte le colonne (variabili) nel tuo data.frame.

Solo per motivi di completezza, dplyr::filterpuò essere evitato del tutto ma è comunque possibile comporre catene semplicemente usando magrittr:extract(un alias di [):

library(magrittr)
df = data.frame(
  x1 = c(1,2,3,NA),
  x2 = c(1,2,NA,5))

df %>%
  extract(complete.cases(.), )

Il bonus aggiuntivo è la velocità, questo è il metodo più veloce tra le varianti filtere na.omit(testato utilizzando i microbenchmark @Miha Trošt).