Come filtrare le righe nei panda per regex

Vorrei filtrare in modo pulito un dataframe usando regex su una delle colonne.

Per un esempio inventato:

In [210]: foo = pd.DataFrame({'a' : [1,2,3,4], 'b' : ['hi', 'foo', 'fat', 'cat']})
In [211]: foo
Out[211]: 
   a    b
0  1   hi
1  2  foo
2  3  fat
3  4  cat

Voglio filtrare le righe su quelle che iniziano con l' fuso di una regex. Primo passo:

In [213]: foo.b.str.match('f.*')
Out[213]: 
0    []
1    ()
2    ()
3    []

Non è molto utile. Tuttavia, questo mi farà ottenere il mio indice booleano:

In [226]: foo.b.str.match('(f.*)').str.len() > 0
Out[226]: 
0    False
1     True
2     True
3    False
Name: b

Quindi potrei quindi fare la mia limitazione:

In [229]: foo[foo.b.str.match('(f.*)').str.len() > 0]
Out[229]: 
   a    b
1  2  foo
2  3  fat

Questo però mi fa mettere artificialmente un gruppo nella regex e sembra che forse non sia la strada pulita da percorrere. C'è un modo migliore per farlo?

Usa contiene invece:

In [10]: df.b.str.contains('^f')
Out[10]: 
0    False
1     True
2     True
3    False
Name: b, dtype: bool

Esiste già una funzione di gestione delle stringhe Series.str.startswith(). Dovresti provare foo[foo.b.str.startswith('f')].

Risultato:

    a   b
1   2   foo
2   3   fat

Penso a cosa ti aspetti.

In alternativa puoi usare contiene con l'opzione regex. Per esempio:

foo[foo.b.str.contains('oo', regex= True, na=False)]

Risultato:

    a   b
1   2   foo

na=False è prevenire errori nel caso ci siano valori nan, null ecc

Ricerca in più colonne con dataframe:

frame[frame.filename.str.match('*.'+MetaData+'.*') & frame.file_path.str.match('C:\test\test.txt')]

Questo potrebbe essere un po 'in ritardo, ma ora è più facile da fare in Panda. Puoi chiamare match with as_indexer=Trueper ottenere risultati booleani. Questo è documentato (insieme alla differenza tra matche contains) qui .

Grazie per l'ottima risposta @ user3136169, ecco un esempio di come ciò potrebbe essere fatto anche rimuovendo i valori di NoneType.

def regex_filter(val):
    if val:
        mo = re.search(regex,val)
        if mo:
            return True
        else:
            return False
    else:
        return False

df_filtered = df[df['col'].apply(regex_filter)]

Inoltre puoi anche aggiungere regex come arg:

def regex_filter(val,myregex):
    ...

df_filtered = df[df['col'].apply(res_regex_filter,regex=myregex)]

Scrivi una funzione booleana che controlla il regex e usa applica sulla colonna

foo[foo['b'].apply(regex_function)]

Usando la str fetta

foo[foo.b.str[0]=='f']
Out[18]: 
   a    b
1  2  foo
2  3  fat