Sostituzione di Pandas o Numpy Nan con None da utilizzare con MysqlDB

Sto cercando di scrivere un dataframe Pandas (o posso usare un array numpy) su un database mysql usando MysqlDB. MysqlDB non sembra capire "nan" e il mio database restituisce un errore dicendo che nan non è nell'elenco dei campi. Devo trovare un modo per convertire "nan" in un NoneType.

Qualche idea?

@bogatron ha ragione, puoi usarlo where, vale la pena notare che puoi farlo in modo nativo nei panda:

df1 = df.where(pd.notnull(df), None)

Nota: questo cambia il dtype di tutte le colonne in object.

Esempio:

In [1]: df = pd.DataFrame([1, np.nan])

In [2]: df
Out[2]: 
    0
0   1
1 NaN

In [3]: df1 = df.where(pd.notnull(df), None)

In [4]: df1
Out[4]: 
      0
0     1
1  None

Nota: cosa non puoi fare rifusione dei DataFrame dtypeper consentire tutti i tipi di dati, utilizzando astype, e quindi il fillnametodo DataFrame :

df1 = df.astype(object).replace(np.nan, 'None')

Sfortunatamente né questo, né l'utilizzo replace, funziona con Nonevedere questo problema (chiuso) .

Per inciso, vale la pena notare che per la maggior parte dei casi d'uso non è necessario sostituire NaN con Nessuno, vedere questa domanda sulla differenza tra NaN e Nessuno nei panda .

Tuttavia, in questo caso specifico sembra che tu lo faccia (almeno al momento di questa risposta).

df = df.replace({np.nan: None})

Il merito va a questo ragazzo qui su questo problema di GitHub .

Puoi sostituire nancon Nonenel tuo array numpy:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

Dopo essere inciampato, questo ha funzionato per me:

df = df.astype(object).where(pd.notnull(df),None)

Solo un'aggiunta alla risposta di @Andy Hayden:

Poiché DataFrame.maskè il gemello opposto di DataFrame.where, hanno esattamente la stessa firma ma con significato opposto:

• DataFrame.whereè utile per sostituire i valori in cui la condizione è False .
• DataFrame.maskviene utilizzato per sostituire i valori in cui la condizione è vera .

Quindi, in questa domanda, l'utilizzo df.mask(df.isna(), other=None, inplace=True)potrebbe essere più intuitivo.

Un'altra aggiunta: fare attenzione quando si sostituiscono i multipli e si riconverte il tipo di colonna da oggetto a mobile . Se vuoi essere certo che il tuo Nonenon ritorni a np.NaN's applica il suggerimento di @ andy-hayden con l'utilizzo pd.where. Illustrazione di come la sostituzione può ancora andare "storta":

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({"a": [1, np.NAN, np.inf]})

In [4]: df
Out[4]:
     a
0  1.0
1  NaN
2  inf

In [5]: df.replace({np.NAN: None})
Out[5]:
      a
0     1
1  None
2   inf

In [6]: df.replace({np.NAN: None, np.inf: None})
Out[6]:
     a
0  1.0
1  NaN
2  NaN

In [7]: df.where((pd.notnull(df)), None).replace({np.inf: None})
Out[7]:
     a
0  1.0
1  NaN
2  NaN

Abbastanza vecchio, eppure mi sono imbattuto nello stesso problema. Prova a farlo:

df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)