106

Ho un dataframe panda con i seguenti nomi di colonna:

Risultato1, Test1, Risultato2, Test2, Risultato3, Test3, ecc ...

Desidero eliminare tutte le colonne il cui nome contiene la parola "Test". I numeri di tali colonne non sono statici ma dipendono da una funzione precedente.

Come lo posso fare?

python pandas dataframe

— Alexis Eggermont
fonte

74

import pandas as pd

import numpy as np

array=np.random.random((2,4))

df=pd.DataFrame(array, columns=('Test1', 'toto', 'test2', 'riri'))

print df

      Test1      toto     test2      riri
0  0.923249  0.572528  0.845464  0.144891
1  0.020438  0.332540  0.144455  0.741412

cols = [c for c in df.columns if c.lower()[:4] != 'test']

df=df[cols]

print df
       toto      riri
0  0.572528  0.144891
1  0.332540  0.741412

— Nic
fonte

2

L'OP non ha specificato che la rimozione dovrebbe essere senza distinzione tra maiuscole e minuscole.

— Phillip Cloud,

164

Ecco un modo per farlo:

df = df[df.columns.drop(list(df.filter(regex='Test')))]

— Bindiya12
fonte

47

Oppure direttamente sul posto:df.drop(list(df.filter(regex = 'Test')), axis = 1, inplace = True)

— Axel

7

Questa è una soluzione molto più elegante della risposta accettata. Vorrei suddividerlo un po 'di più per mostrare il motivo, principalmente estraendo list(df.filter(regex='Test'))per mostrare meglio cosa sta facendo la linea. Opterei anche per df.filter(regex='Test').columnsla conversione della lista

— Charles

2

Questa è molto più elegante della risposta accettata.

— elemento profondo

4

Mi chiedo davvero cosa significhino i commenti che dicono che questa risposta è "elegante". Io stesso lo trovo abbastanza offuscato, quando il codice Python dovrebbe essere prima leggibile. Inoltre è due volte più lento della prima risposta. E utilizza la regexparola chiave quando la likeparola chiave sembra essere più adeguata.

— Jacquot

2

Questa in realtà non è una risposta così buona come affermano le persone. Il problema filterè che restituisce una copia di TUTTI i dati come colonne che si desidera eliminare. È uno spreco se stai solo passando questo risultato a drop(che restituisce di nuovo una copia) ... una soluzione migliore sarebbe str.startswith(ho aggiunto una risposta con quella qui).

— cs95

42

Più economico, più veloce e idiomatico: `str.contains`

Nelle versioni recenti di panda, puoi utilizzare metodi stringa sull'indice e sulle colonne. Ecco, str.startswithsembra una buona misura.

Per rimuovere tutte le colonne che iniziano con una data sottostringa:

df.columns.str.startswith('Test')
# array([ True, False, False, False])

df.loc[:,~df.columns.str.startswith('Test')]

  toto test2 riri
0    x     x    x
1    x     x    x

Per la corrispondenza senza distinzione tra maiuscole e minuscole, puoi utilizzare la corrispondenza basata su espressioni regolari con str.containsun'ancora SOL:

df.columns.str.contains('^test', case=False)
# array([ True, False,  True, False])

df.loc[:,~df.columns.str.contains('^test', case=False)] 

  toto riri
0    x    x
1    x    x

se i tipi misti è una possibilità, specificare na=Falseanche.

— cs95
fonte

15

Puoi filtrare le colonne che vuoi utilizzando "filtro"

import pandas as pd
import numpy as np

data2 = [{'test2': 1, 'result1': 2}, {'test': 5, 'result34': 10, 'c': 20}]

df = pd.DataFrame(data2)

df

    c   result1     result34    test    test2
0   NaN     2.0     NaN     NaN     1.0
1   20.0    NaN     10.0    5.0     NaN

Ora filtra

df.filter(like='result',axis=1)

Ottenere..

   result1  result34
0   2.0     NaN
1   NaN     10.0

— SAH
fonte

4

Migliore risposta! Grazie. Come si filtra di fronte? not like='result'

— stallo: un

2

quindi fai questo: df = df.drop (df.filter (like = 'result', axis = 1) .columns, axis = 1)

— Amir

14

Questo può essere fatto ordinatamente in una riga con:

df = df.drop(df.filter(regex='Test').columns, axis=1)

— Warren O'Neill
fonte

1

Allo stesso modo (e più veloce):df.drop(df.filter(regex='Test').columns, axis=1, inplace=True)

— Max Ghenis

9

Usa il DataFrame.selectmetodo:

In [38]: df = DataFrame({'Test1': randn(10), 'Test2': randn(10), 'awesome': randn(10)})

In [39]: df.select(lambda x: not re.search('Test\d+', x), axis=1)
Out[39]:
   awesome
0    1.215
1    1.247
2    0.142
3    0.169
4    0.137
5   -0.971
6    0.736
7    0.214
8    0.111
9   -0.214

— Phillip Cloud
fonte

E l'operazione non ha specificato che un numero deve seguire "Test": voglio eliminare tutte le colonne il cui nome contiene la parola "Test" .

— 7stud

L'assunzione che un numero segua Test è perfettamente ragionevole. Rileggi la domanda.

— Phillip Cloud,

2

ora in vista:

FutureWarning: 'select' is deprecated and will be removed in a future release. You can use .loc[labels.map(crit)] as a replacement

— flutefreak7

Ricordati di farlo in import reanticipo.

— ijoseph

5

Questo metodo fa tutto a posto. Molte delle altre risposte creano copie e non sono altrettanto efficienti:

df.drop(df.columns[df.columns.str.contains('Test')], axis=1, inplace=True)

— ba0101
fonte

2

Non cadere. Prendi l'opposto di quello che vuoi.

df = df.filter(regex='^((?!badword).)*$').columns

— Roy Assis
fonte

1

il modo più breve per farlo è:

resdf = df.filter(like='Test',axis=1)

— ZacNt
fonte

Questo è già stato coperto da questa risposta .

— Gino Mempin

1

Sebbene la risposta collegata nel commento sopra sia simile, non è la stessa. In effetti, è quasi l'opposto.

— Makyen

0

Soluzione quando si rilascia un elenco di nomi di colonne contenenti regex. Preferisco questo approccio perché modifico spesso l'elenco a discesa. Usa un'espressione regolare del filtro negativo per l'elenco a discesa.

drop_column_names = ['A','B.+','C.*']
drop_columns_regex = '^(?!(?:'+'|'.join(drop_column_names)+')$)'
print('Dropping columns:',', '.join([c for c in df.columns if re.search(drop_columns_regex,c)]))
df = df.filter(regex=drop_columns_regex,axis=1)

— BSalita
fonte

Rilascia le colonne il cui nome contiene una stringa specifica da pandas DataFrame

Più economico, più veloce e idiomatico: str.contains

Più economico, più veloce e idiomatico: `str.contains`