Ignorare NaN con str. Contiene


117

Voglio trovare righe che contengono una stringa, in questo modo:

DF[DF.col.str.contains("foo")]

Tuttavia, questo non riesce perché alcuni elementi sono NaN:

ValueError: impossibile indicizzare con un vettore contenente valori NA / NaN

Quindi ricorro all'offuscato

DF[DF.col.notnull()][DF.col.dropna().str.contains("foo")]

C'è un modo migliore?

Risposte:


226

C'è una bandiera per questo:

In [11]: df = pd.DataFrame([["foo1"], ["foo2"], ["bar"], [np.nan]], columns=['a'])

In [12]: df.a.str.contains("foo")
Out[12]:
0     True
1     True
2    False
3      NaN
Name: a, dtype: object

In [13]: df.a.str.contains("foo", na=False)
Out[13]:
0     True
1     True
2    False
3    False
Name: a, dtype: bool

Vedi i str.replacedocumenti:

na: NaN predefinito, valore di riempimento per i valori mancanti.


Quindi puoi fare quanto segue:

In [21]: df.loc[df.a.str.contains("foo", na=False)]
Out[21]:
      a
0  foo1
1  foo2

2
Qui ho avuto una situazione in cui è astato popolato da un CSV e la acolonna conteneva la stringa "nan". pandas"intelligentemente" lo ha convertito in NaNe ha iniziato a lamentarsi quando ho provato a farlo df.a.str.contains(). Quindi sì protip: assicurati di impostare il tipo di colonna read_csv()o successivamente fai qualcosa come df = df.where(pandas.notnull(df), "nan")LOL
dmn

Perché df.loce non solo df?
PascalVKooten

Anche @PascalVKooten va bene, ilike .loc poiché imo è un po 'più esplicito.
Andy Hayden

1
Mi hai salvato ... se questo non fosse qui, penso che avrei passato un incubo di due settimane sbattendo la testa contro il muro :-) sicuramente valeva un +1, lol
U10-Forward

5
Lol, perché non è questa impostazione predefinita?
ifly6

8

Oltre alle risposte di cui sopra, direi che per le colonne che non hanno un nome di una sola parola, puoi usare: -

df[df['Product ID'].str.contains("foo") == True]

Spero che questo ti aiuti.


0

Non sono al 100% sul perché (in realtà sono venuto qui per cercare la risposta), ma anche questo funziona e non richiede la sostituzione di tutti i valori nan.

import pandas as pd
import numpy as np

df = pd.DataFrame([["foo1"], ["foo2"], ["bar"], [np.nan]], columns=['a'])

newdf = df.loc[df['a'].str.contains('foo') == True]

Funziona con o senza .loc.

Non ho idea del perché funzioni, poiché lo capisco quando indicizzi con parentesi i panda valuta qualunque cosa sia all'interno della parentesi come Trueo False. Non so perché rendere la frase tra parentesi "extra booleano" abbia alcun effetto.



-3
import folium
import pandas

data= pandas.read_csv("maps.txt")

lat = list(data["latitude"])
lon = list(data["longitude"])

map= folium.Map(location=[31.5204, 74.3587], zoom_start=6, tiles="Mapbox Bright")

fg = folium.FeatureGroup(name="My Map")

for lt, ln in zip(lat, lon):
c1 = fg.add_child(folium.Marker(location=[lt, ln], popup="Hi i am a Country",icon=folium.Icon(color='green')))

child = fg.add_child(folium.Marker(location=[31.5204, 74.5387], popup="Welcome to Lahore", icon= folium.Icon(color='green')))

map.add_child(fg)

map.save("Lahore.html")


Traceback (most recent call last):
  File "C:\Users\Ryan\AppData\Local\Programs\Python\Python36-32\check2.py", line 14, in <module>
    c1 = fg.add_child(folium.Marker(location=[lt, ln], popup="Hi i am a Country",icon=folium.Icon(color='green')))
  File "C:\Users\Ryan\AppData\Local\Programs\Python\Python36-32\lib\site-packages\folium\map.py", line 647, in __init__
    self.location = _validate_coordinates(location)
  File "C:\Users\Ryan\AppData\Local\Programs\Python\Python36-32\lib\site-packages\folium\utilities.py", line 48, in _validate_coordinates
    'got:\n{!r}'.format(coordinates))
ValueError: Location values cannot contain NaNs, got:
[nan, nan]

Questa non è una risposta.
ifly6
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.