Come eliminare righe di Pandas DataFrame il cui valore in una determinata colonna è NaN

Ho questo DataFramee voglio solo i record la cui EPScolonna non è NaN:

>>> df
                 STK_ID  EPS  cash
STK_ID RPT_Date                   
601166 20111231  601166  NaN   NaN
600036 20111231  600036  NaN    12
600016 20111231  600016  4.3   NaN
601009 20111231  601009  NaN   NaN
601939 20111231  601939  2.5   NaN
000001 20111231  000001  NaN   NaN

... vale a dire qualcosa come df.drop(....)ottenere questo frame di dati risultante:

                  STK_ID  EPS  cash
STK_ID RPT_Date                   
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Come lo faccio?

Non rilasciare, prendi solo le righe in cui EPS non è NA:

df = df[df['EPS'].notna()]

Questa domanda è già stata risolta, ma ...

... considera anche la soluzione suggerita da Wouter nel suo commento originale . La capacità di gestire i dati mancanti, incluso dropna(), è esplicitamente integrata nei panda. A parte le prestazioni potenzialmente migliorate rispetto a farlo manualmente, queste funzioni includono anche una varietà di opzioni che possono essere utili.

In [24]: df = pd.DataFrame(np.random.randn(10,3))

In [25]: df.iloc[::2,0] = np.nan; df.iloc[::4,1] = np.nan; df.iloc[::3,2] = np.nan;

In [26]: df
Out[26]:
          0         1         2
0       NaN       NaN       NaN
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [27]: df.dropna()     #drop all rows that have any NaN values
Out[27]:
          0         1         2
1  2.677677 -1.466923 -0.750366
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295

In [28]: df.dropna(how='all')     #drop only if ALL columns are NaN
Out[28]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
4       NaN       NaN  0.050742
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
8       NaN       NaN  0.637482
9 -0.310130  0.078891       NaN

In [29]: df.dropna(thresh=2)   #Drop row if it does not have at least two values that are **not** NaN
Out[29]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

In [30]: df.dropna(subset=[1])   #Drop only if NaN in specific column (as asked in the question)
Out[30]:
          0         1         2
1  2.677677 -1.466923 -0.750366
2       NaN  0.798002 -0.906038
3  0.672201  0.964789       NaN
5 -1.250970  0.030561 -2.678622
6       NaN  1.036043       NaN
7  0.049896 -0.308003  0.823295
9 -0.310130  0.078891       NaN

Esistono anche altre opzioni (vedere i documenti su http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html ), incluso il rilascio di colonne anziché di righe.

Molto utile!

So che è già stata data una risposta, ma solo per una soluzione puramente panda a questa domanda specifica rispetto alla descrizione generale di Aman (che è stata meravigliosa) e nel caso in cui qualcuno accada su questo:

import pandas as pd
df = df[pd.notnull(df['EPS'])]

Puoi usare questo:

df.dropna(subset=['EPS'], how='all', inplace=True)

La più semplice di tutte le soluzioni:

filtered_df = df[df['EPS'].notnull()]

La soluzione sopra è molto meglio dell'uso di np.isfinite ()

È possibile utilizzare il metodo dataframe notnull o inverse di isnull o numpy.isnan :

In [332]: df[df.EPS.notnull()]
Out[332]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [334]: df[~df.EPS.isnull()]
Out[334]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN


In [347]: df[~np.isnan(df.EPS)]
Out[347]:
   STK_ID  RPT_Date  STK_ID.1  EPS  cash
2  600016  20111231    600016  4.3   NaN
4  601939  20111231    601939  2.5   NaN

Modo semplice e facile

df.dropna(subset=['EPS'],inplace=True)

fonte: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.dropna.html

ancora un'altra soluzione che utilizza il fatto che np.nan != np.nan:

In [149]: df.query("EPS == EPS")
Out[149]:
                 STK_ID  EPS  cash
STK_ID RPT_Date
600016 20111231  600016  4.3   NaN
601939 20111231  601939  2.5   NaN

Un'altra versione:

df[~df['EPS'].isna()]

Nei set di dati con un numero elevato di colonne è ancora meglio vedere quante colonne contengono valori null e quante no.

print("No. of columns containing null values")
print(len(df.columns[df.isna().any()]))

print("No. of columns not containing null values")
print(len(df.columns[df.notna().all()]))

print("Total no. of columns in the dataframe")
print(len(df.columns))

Ad esempio nel mio frame di dati conteneva 82 colonne, di cui 19 contenevano almeno un valore null.

Inoltre puoi anche rimuovere automaticamente i col e le righe a seconda di quale ha più valori null
Ecco il codice che lo fa in modo intelligente:

df = df.drop(df.columns[df.isna().sum()>len(df.columns)],axis = 1)
df = df.dropna(axis = 0).reset_index(drop=True)

Nota: il codice sopra rimuove tutti i valori null. Se desideri valori null, elaborali prima.

Si può aggiungere che '&' può essere usato per aggiungere ulteriori condizioni ad es

df = df[(df.EPS > 2.0) & (df.EPS <4.0)]

Si noti che quando si valutano le dichiarazioni, i panda hanno bisogno di parentesi.

Per qualche motivo nessuna delle risposte precedentemente inviate ha funzionato per me. Questa soluzione di base ha fatto:

df = df[df.EPS >= 0]

Anche se ovviamente questo lascerà cadere anche le righe con numeri negativi. Quindi, se vuoi quelli, probabilmente è intelligente aggiungere anche questo dopo.

df = df[df.EPS <= 0]

Una delle soluzioni può essere

df = df[df.isnull().sum(axis=1) <= Cutoff Value]

Un altro modo può essere

df= df.dropna(thresh=(df.shape[1] - Cutoff_value))

Spero che siano utili.