Devo calcolare il numero di elementi non NaN in una matrice numpy ndarray. Come si può fare questo in modo efficiente in Python? Ecco il mio semplice codice per raggiungere questo obiettivo:
import numpy as np
def numberOfNonNans(data):
count = 0
for i in data:
if not np.isnan(i):
count += 1
return count
C'è una funzione incorporata per questo in numpy? L'efficienza è importante perché sto facendo analisi dei Big Data.
Grazie per qualsiasi aiuto!
sum(not np.isnan(x) for x in a)in termini di memoria sarà , ma in termini di velocità è lenta rispetto alla versione numpy di @ M4rtini.
Risposte:
np.count_nonzero(~np.isnan(data))
~inverte la matrice booleana da cui proviene np.isnan.
np.count_nonzeroconta i valori che non sono 0 \ false. .sumdovrebbe dare lo stesso risultato. Ma forse più chiaramente da usarecount_nonzero
Velocità di prova:
In [23]: data = np.random.random((10000,10000))
In [24]: data[[np.random.random_integers(0,10000, 100)],:][:, [np.random.random_integers(0,99, 100)]] = np.nan
In [25]: %timeit data.size - np.count_nonzero(np.isnan(data))
1 loops, best of 3: 309 ms per loop
In [26]: %timeit np.count_nonzero(~np.isnan(data))
1 loops, best of 3: 345 ms per loop
In [27]: %timeit data.size - np.isnan(data).sum()
1 loops, best of 3: 339 ms per loop
data.size - np.count_nonzero(np.isnan(data))sembra essere a malapena il più veloce qui. altri dati potrebbero fornire risultati di velocità relativa diversi.
numpy.isnan(array).sum()? Non sono molto esperto con numpy però.
data.size - np.isnan(data).sum()sarà leggermente più efficiente.
Anche se non è la scelta più veloce, se le prestazioni non sono un problema puoi usare:
sum(~np.isnan(data)).
In [7]: %timeit data.size - np.count_nonzero(np.isnan(data))
10 loops, best of 3: 67.5 ms per loop
In [8]: %timeit sum(~np.isnan(data))
10 loops, best of 3: 154 ms per loop
In [9]: %timeit np.sum(~np.isnan(data))
10 loops, best of 3: 140 ms per loop
leninvece usare .
Un'alternativa, ma un po 'più lenta, è quella di farlo tramite indicizzazione.
np.isnan(data)[np.isnan(data) == False].size
In [30]: %timeit np.isnan(data)[np.isnan(data) == False].size
1 loops, best of 3: 498 ms per loop
Il doppio uso di np.isnan(data)e l' ==operatore potrebbe essere un po 'eccessivo e quindi ho postato la risposta solo per completezza.
Per determinare se l'array è sparso, può essere utile ottenere una proporzione di valori nan
np.isnan(ndarr).sum() / ndarr.size
Se quella proporzione supera una soglia, utilizza un array sparse, ad esempio - https://sparse.pydata.org/en/latest/