ValueError: l'input contiene NaN, infinito o un valore troppo grande per dtype ('float32')

Ho ottenuto ValueError durante la previsione dei dati di test utilizzando un modello RandomForest.

Il mio codice:

clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2)
clf.fit(X_fit, y_fit)

df_test.fillna(df_test.mean())
X_test = df_test.values  
y_pred = clf.predict(X_test)

L'errore:

ValueError: Input contains NaN, infinity or a value too large for dtype('float32').

Come trovo i valori errati nel set di dati di test? Inoltre, non voglio eliminare questi record, posso semplicemente sostituirli con la media o la mediana?

Grazie.

Con np.isnan(X)te ottieni una maschera booleana con True per le posizioni contenenti NaNs.

Con np.where(np.isnan(X))te ritorni una tupla con i, j coordinate di NaNs.

Infine, con np.nan_to_num(X)te "sostituisci nan con zero e inf con numeri finiti".

In alternativa, puoi usare:

• sklearn.impute.SimpleImputer per imputazione media / mediana dei valori mancanti, o
• panda ' pd.DataFrame(X).fillna(), se hai bisogno di qualcosa di diverso dal riempirlo di zeri.

Supponendo che X_testsia un frame di dati panda, è possibile utilizzare DataFrame.fillnaper sostituire i valori NaN con la media:

X_test.fillna(X_test.mean())

Per chiunque accada attraverso questo, per modificare effettivamente l'originale:

X_test.fillna(X_train.mean(), inplace=True)

Per sovrascrivere l'originale:

X_test = X_test.fillna(X_train.mean())

Per verificare se sei in una copia rispetto a una vista:

X_test._is_view

Non dimenticare

col_mask=df.isnull().any(axis=0) 

Che restituisce una maschera booleana che indica valori np.nan.

row_mask=df.isnull().any(axis=1)

Che restituiscono le righe in cui è apparso np.nan. Quindi con una semplice indicizzazione puoi contrassegnare tutti i tuoi punti che sono np.nan.

df.loc[row_mask,col_mask]

Non dimenticare di controllare anche i valori inf. L'unica cosa che ha funzionato per me:

df[df==np.inf]=np.nan
df.fillna(df.mean(), inplace=True)

E ancora meglio se stai usando sklearn

def replace_missing_value(df, number_features):

    imputer = Imputer(strategy="median")
    df_num = df[number_features]
    imputer.fit(df_num)
    X = imputer.transform(df_num)
    res_def = pd.DataFrame(X, columns=df_num.columns)
    return res_def

Quando number_features sarebbe una matrice delle etichette number_features, ad esempio:

number_features = ['median_income', 'gdp']

Ho affrontato un problema simile e ho visto che intorpidito gestisce NaN e Inf in modo diverso.
In caso di dati con Inf, provare questo:

np.where(x.values >= np.finfo(np.float64).max)
Where x is my pandas Dataframe 

Ciò fornirà una tupla di posizione dei luoghi in cui sono presenti i valori di NA.

Nel caso in cui i tuoi dati abbiano Nan, prova questo:

np.isnan(x.values.any())

Nella maggior parte dei casi, liberarsi di valori infiniti e nulli risolve questo problema.

sbarazzarsi di valori infiniti.

df.replace([np.inf, -np.inf], np.nan, inplace=True)

sbarazzarsi di valori null nel modo desiderato, valore specifico come 999, media o creare la propria funzione per imputare i valori mancanti

df.fillna(999, inplace=True)

o

df.fillna(df.mean(), inplace=True)

Se i tuoi valori sono maggiori di float32, prova prima a eseguire un ridimensionatore . Sarebbe piuttosto insolito che la deviazione si estenda più di float32.

Ecco il codice per "Sostituire NaN con zero e infinito con grandi numeri finiti". usando numpy.nan_to_num .

df[:] = np.nan_to_num(df)

Vedi anche la risposta di Fernando .