Qual è la differenza tra NaN e None?

Sto leggendo due colonne di un file csv usando i panda readcsv()e quindi assegnando i valori a un dizionario. Le colonne contengono stringhe di numeri e lettere. Occasionalmente ci sono casi in cui una cella è vuota. A mio parere, il valore letto in quella voce del dizionario dovrebbe essere Nonema invece nanè assegnato. Sicuramente Noneè più descrittivo di una cella vuota in quanto ha un valore nullo, mentre nandice solo che il valore letto non è un numero.

La mia comprensione è corretta, qual è la differenza tra Nonee nan? Perché viene nanassegnato invece di None?

Inoltre, il mio controllo del dizionario per eventuali celle vuote ha utilizzato numpy.isnan():

for k, v in my_dict.iteritems():
    if np.isnan(v):

Ma questo mi dà un errore dicendo che non posso usare questo controllo per v. Immagino sia perché si intende utilizzare un numero intero o una variabile float, non una stringa. Se questo è vero, come posso verificare la presenza vdi una "cella vuota" / nancaso?

NaN viene utilizzato come segnaposto per i dati mancanti in modo coerente nei panda , la coerenza è buona. Di solito leggo / traduco NaN come "mancante" . Vedi anche "lavorare con i dati mancanti" nei documenti.

Wes scrive nella documentazione "scelta della rappresentazione di NA" :

Dopo anni di produzione, l'uso di [NaN] si è dimostrato, almeno secondo me, la decisione migliore vista la situazione in NumPy e Python in generale. Il valore speciale NaN (Not-A-Number) viene utilizzato ovunque come valore NA e ci sono funzioni API isnulle notnullche possono essere utilizzate tra i dtypes per rilevare i valori NA.
...
Pertanto, ho scelto l'approccio pitonico "la praticità batte la purezza" e ho scambiato la capacità NA intera per un approccio molto più semplice di utilizzare un valore speciale in float e array di oggetti per denotare NA e promuovere gli array interi a fluttuanti quando i NA devono essere introdotto.

Nota: il "gotcha" che la serie intera contenente dati mancanti viene trasmessa in virgola mobile .

A mio parere, il motivo principale per utilizzare NaN (su None) è che può essere memorizzato con float64 dtype di numpy, piuttosto che con l'oggetto meno efficiente dtype, vedere promozioni di tipo NA .

#  without forcing dtype it changes None to NaN!
s_bad = pd.Series([1, None], dtype=object)
s_good = pd.Series([1, np.nan])

In [13]: s_bad.dtype
Out[13]: dtype('O')

In [14]: s_good.dtype
Out[14]: dtype('float64')

Jeff commenta (sotto) su questo:

np.nanconsente operazioni vettorializzate; è un valore float, mentre None, per definizione, forza il tipo di oggetto, che sostanzialmente disabilita tutta l'efficienza in numpy.

Quindi ripeti 3 volte velocemente: oggetto == cattivo, float == buono

Detto questo, molte operazioni potrebbero ancora funzionare altrettanto bene con None vs NaN (ma forse non sono supportate, ovvero a volte possono dare risultati sorprendenti ):

In [15]: s_bad.sum()
Out[15]: 1

In [16]: s_good.sum()
Out[16]: 1.0

Per rispondere alla seconda domanda:
dovresti usare pd.isnulle pd.notnullper testare i dati mancanti (NaN).

NaN può essere usato come valore numerico su operazioni matematiche, mentre None non può (o almeno non dovrebbe).

NaNè un valore numerico, come definito nello standard a virgola mobile IEEE 754 . Noneè un tipo Python interno (NoneType ) e sarebbe più come "inesistente" o "vuoto" che "numericamente non valido" in questo contesto.

Il principale "sintomo" di ciò è che, se esegui, diciamo, una media o una somma su un array contenente NaN, anche uno solo, ottieni NaN come risultato ...

D'altra parte, non è possibile eseguire operazioni matematiche utilizzando Nonecome operando.

Quindi, a seconda dei casi, potresti usare Nonecome un modo per dire al tuo algoritmo di non considerare valori non validi o inesistenti nei calcoli. Ciò significherebbe che l'algoritmo dovrebbe testare ogni valore per vedere se lo è None.

Numpy ha alcune funzioni per evitare che i valori NaN contaminino i risultati, come nansume nan_to_numper esempio.

La funzione isnan()verifica se qualcosaè "Non un numero" e restituirà se una variabileèun numero o meno, ad esempio isnan(2)restituirebbe false

Il condizionale myVar is not Nonerestituisce se la variabile è definita o meno

Il tuo array numpy usa isnan()perché è inteso come un array di numeri e inizializza tutti gli elementi dell'array a NaNquesti elementi sono considerati "vuoti"

Di seguito sono riportate le differenze:

• nan appartiene alla classe float
• None appartiene alla classe NoneType

Ho trovato molto utile l'articolo seguente: https://medium.com/analytics-vidhya/dealing-with-missing-values-nan-and-none-in-python-6fc9b8fb4f31

NaNstants per NON un numero .
Nonepotrebbe rappresentare qualsiasi .