panda read_csv e filtra le colonne con usecols

Ho un file csv che non arriva correttamente pandas.read_csvquando filtro le colonne con usecolse utilizzo più indici.

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

Mi aspetto che df1 e df2 dovrebbero essere gli stessi tranne per la colonna fittizia mancante, ma le colonne vengono etichettate male. Anche la data viene analizzata come una data.

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

Usare i numeri di colonna invece dei nomi mi dà lo stesso problema. Posso risolvere il problema rilasciando la colonna fittizia dopo il passaggio read_csv, ma sto cercando di capire cosa non va. Sto usando i panda 0.10.1.

modifica: corretto utilizzo errato dell'intestazione.

La risposta di @chip manca completamente il punto di due argomenti di parole chiave.

• nomi è necessario solo quando non è presente un'intestazione e si desidera specificare altri argomenti utilizzando i nomi delle colonne anziché gli indici interi.
• usecols dovrebbe fornire un filtro prima di leggere l'intero DataFrame in memoria; se usato correttamente, non dovrebbe mai essere necessario eliminare le colonne dopo la lettura.

Questa soluzione corregge quelle stranezze:

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

Il che ci dà:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Questo codice ottiene ciò che desideri, inoltre è strano e sicuramente pieno di bug:

Ho notato che funziona quando:

a) si specifica il index_colrel. al numero di colonne che usi realmente, quindi le sue tre colonne in questo esempio, non quattro (lasci cadere dummye inizi a contare da quel momento in poi)

b) lo stesso per parse_dates

c) non è così per usecols;) per ovvi motivi

d) qui ho adattato il namesper rispecchiare questo comportamento

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

che stampa

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Se il file csv contiene dati aggiuntivi, le colonne possono essere eliminate da DataFrame dopo l'importazione.

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

Il che ci dà:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5

Devi solo aggiungere il index_col=Falseparametro

df1 = pd.read_csv('foo.csv',
     header=0,
     index_col=False,
     names=["dummy", "date", "loc", "x"], 
     index_col=["date", "loc"], 
     usecols=["dummy", "date", "loc", "x"],
     parse_dates=["date"])
  print df1

importa prima csv e usa csv.DictReader è facile da elaborare ...