Come filtrare il frame di dati Pandas usando 'in' e 'not in' come in SQL

Come posso ottenere gli equivalenti di SQL INe NOT IN?

Ho un elenco con i valori richiesti. Ecco lo scenario:

df = pd.DataFrame({'countries':['US','UK','Germany','China']})
countries = ['UK','China']

# pseudo-code:
df[df['countries'] not in countries]

Il mio modo attuale di farlo è il seguente:

df = pd.DataFrame({'countries':['US','UK','Germany','China']})
countries = pd.DataFrame({'countries':['UK','China'], 'matched':True})

# IN
df.merge(countries,how='inner',on='countries')

# NOT IN
not_in = df.merge(countries,how='left',on='countries')
not_in = not_in[pd.isnull(not_in['matched'])]

Ma questo sembra un orribile kludge. Qualcuno può migliorarlo?

È possibile utilizzare pd.Series.isin.

Per "IN" utilizzare: something.isin(somewhere)

O per "NON IN": ~something.isin(somewhere)

Come esempio funzionante:

>>> df
  countries
0        US
1        UK
2   Germany
3     China
>>> countries
['UK', 'China']
>>> df.countries.isin(countries)
0    False
1     True
2    False
3     True
Name: countries, dtype: bool
>>> df[df.countries.isin(countries)]
  countries
1        UK
3     China
>>> df[~df.countries.isin(countries)]
  countries
0        US
2   Germany

Soluzione alternativa che utilizza il metodo .query () :

In [5]: df.query("countries in @countries")
Out[5]:
  countries
1        UK
3     China

In [6]: df.query("countries not in @countries")
Out[6]:
  countries
0        US
2   Germany

Come implementare 'in' e 'non in' per un DataFrame Panda?

Pandas offre due metodi: Series.isine rispettivamente DataFrame.isinper Series e DataFrames.

Filtra DataFrame in base a UNA colonna (vale anche per le serie)

Lo scenario più comune è l'applicazione di una isincondizione su una colonna specifica per filtrare le righe in un DataFrame.

df = pd.DataFrame({'countries': ['US', 'UK', 'Germany', np.nan, 'China']})
df
  countries
0        US
1        UK
2   Germany
3     China

c1 = ['UK', 'China']             # list
c2 = {'Germany'}                 # set
c3 = pd.Series(['China', 'US'])  # Series
c4 = np.array(['US', 'UK'])      # array

Series.isinaccetta vari tipi come input. Di seguito sono riportati tutti i modi validi per ottenere ciò che desideri:

df['countries'].isin(c1)

0    False
1     True
2    False
3    False
4     True
Name: countries, dtype: bool

# `in` operation
df[df['countries'].isin(c1)]

  countries
1        UK
4     China

# `not in` operation
df[~df['countries'].isin(c1)]

  countries
0        US
2   Germany
3       NaN

# Filter with `set` (tuples work too)
df[df['countries'].isin(c2)]

  countries
2   Germany

# Filter with another Series
df[df['countries'].isin(c3)]

  countries
0        US
4     China

# Filter with array
df[df['countries'].isin(c4)]

  countries
0        US
1        UK

Filtro su MOLTE colonne

A volte, ti consigliamo di applicare un controllo di appartenenza "in" con alcuni termini di ricerca su più colonne,

df2 = pd.DataFrame({
    'A': ['x', 'y', 'z', 'q'], 'B': ['w', 'a', np.nan, 'x'], 'C': np.arange(4)})
df2

   A    B  C
0  x    w  0
1  y    a  1
2  z  NaN  2
3  q    x  3

c1 = ['x', 'w', 'p']

Per applicare la isincondizione a entrambe le colonne "A" e "B", utilizzare DataFrame.isin:

df2[['A', 'B']].isin(c1)

      A      B
0   True   True
1  False  False
2  False  False
3  False   True

Da questo, per conservare le righe in cui si trova almeno una colonnaTrue , possiamo usare anylungo il primo asse:

df2[['A', 'B']].isin(c1).any(axis=1)

0     True
1    False
2    False
3     True
dtype: bool

df2[df2[['A', 'B']].isin(c1).any(axis=1)]

   A  B  C
0  x  w  0
3  q  x  3

Nota che se vuoi cercare in ogni colonna, dovresti semplicemente omettere il passaggio di selezione della colonna e farlo

df2.isin(c1).any(axis=1)

Allo stesso modo, per conservare le righe in cui si trovano TUTTE le colonneTrue , utilizzare allnello stesso modo di prima.

df2[df2[['A', 'B']].isin(c1).all(axis=1)]

   A  B  C
0  x  w  0

Notevole Menzioni: numpy.isin, query, list comprehension (string data)

Oltre ai metodi descritti in precedenza, è anche possibile utilizzare l'equivalente NumPy: numpy.isin.

# `in` operation
df[np.isin(df['countries'], c1)]

  countries
1        UK
4     China

# `not in` operation
df[np.isin(df['countries'], c1, invert=True)]

  countries
0        US
2   Germany
3       NaN

Perché vale la pena considerare? Le funzioni di NumPy sono in genere un po 'più veloci rispetto ai loro equivalenti panda a causa del sovraccarico inferiore. Dato che si tratta di un'operazione elementally che non dipende dall'allineamento dell'indice, ci sono pochissime situazioni in cui questo metodo non è un sostituto appropriato per i panda isin.

Le routine di Panda sono generalmente iterative quando si lavora con le stringhe, poiché le operazioni sulle stringhe sono difficili da vettorializzare. Ci sono molte prove che suggeriscono che la comprensione dell'elenco sarà più veloce qui. . Facciamo ricorso a un inassegno ora.

c1_set = set(c1) # Using `in` with `sets` is a constant time operation... 
                 # This doesn't matter for pandas because the implementation differs.
# `in` operation
df[[x in c1_set for x in df['countries']]]

  countries
1        UK
4     China

# `not in` operation
df[[x not in c1_set for x in df['countries']]]

  countries
0        US
2   Germany
3       NaN

È molto più ingombrante da specificare, tuttavia, quindi non usarlo se non sai cosa stai facendo.

Infine, c'è anche quello DataFrame.queryche è stato trattato in questa risposta . numexpr FTW!

Di solito ho fatto il filtraggio generico su righe come questa:

criterion = lambda row: row['countries'] not in countries
not_in = df[df.apply(criterion, axis=1)]

Volevo filtrare le righe di dfbc che avevano un BUSINESS_ID che era anche nel BUSINESS_ID di dfProfilesBusIds

dfbc = dfbc[~dfbc['BUSINESS_ID'].isin(dfProfilesBusIds['BUSINESS_ID'])]

Raccogliere possibili soluzioni dalle risposte:

Per IN: df[df['A'].isin([3, 6])]

Per NON IN:

1. df[-df["A"].isin([3, 6])]

2. df[~df["A"].isin([3, 6])]

3. df[df["A"].isin([3, 6]) == False]

4. df[np.logical_not(df["A"].isin([3, 6]))]

df = pd.DataFrame({'countries':['US','UK','Germany','China']})
countries = ['UK','China']

implementare in :

df[df.countries.isin(countries)]

implementare non come in dei paesi di riposo:

df[df.countries.isin([x for x in np.unique(df.countries) if x not in countries])]