pandas dataframe groupby datetime mese

Considera un file csv:

string,date,number
a string,2/5/11 9:16am,1.0
a string,3/5/11 10:44pm,2.0
a string,4/22/11 12:07pm,3.0
a string,4/22/11 12:10pm,4.0
a string,4/29/11 11:59am,1.0
a string,5/2/11 1:41pm,2.0
a string,5/2/11 2:02pm,3.0
a string,5/2/11 2:56pm,4.0
a string,5/2/11 3:00pm,5.0
a string,5/2/14 3:02pm,6.0
a string,5/2/14 3:18pm,7.0

Posso leggerlo e riformattare la colonna della data nel formato datetime:

b=pd.read_csv('b.dat')
b['date']=pd.to_datetime(b['date'],format='%m/%d/%y %I:%M%p')

Ho provato a raggruppare i dati per mese. Sembra che dovrebbe esserci un modo ovvio per accedere al mese e raggruppare in base a quello. Ma non riesco a farlo. Qualcuno sa come?

Quello che sto provando attualmente è la reindicizzazione entro la data:

b.index=b['date']

Posso accedere al mese in questo modo:

b.index.month

Tuttavia non riesco a trovare una funzione da raggruppare per mese.

Riuscito a farlo:

b = pd.read_csv('b.dat')
b.index = pd.to_datetime(b['date'],format='%m/%d/%y %I:%M%p')
b.groupby(by=[b.index.month, b.index.year])

O

b.groupby(pd.Grouper(freq='M'))  # update for v0.21+

(aggiornamento: 2018)

Nota che pd.Timegrouperè ammortizzato e verrà rimosso. Usa invece:

 df.groupby(pd.Grouper(freq='M'))

Una soluzione che evita MultiIndex è creare una nuova datetimecolonna impostando giorno = 1. Quindi raggruppare per questa colonna.

Normalizza il giorno del mese

df = pd.DataFrame({'Date': pd.to_datetime(['2017-10-05', '2017-10-20', '2017-10-01', '2017-09-01']),
                   'Values': [5, 10, 15, 20]})

# normalize day to beginning of month, 4 alternative methods below
df['YearMonth'] = df['Date'] + pd.offsets.MonthEnd(-1) + pd.offsets.Day(1)
df['YearMonth'] = df['Date'] - pd.to_timedelta(df['Date'].dt.day-1, unit='D')
df['YearMonth'] = df['Date'].map(lambda dt: dt.replace(day=1))
df['YearMonth'] = df['Date'].dt.normalize().map(pd.tseries.offsets.MonthBegin().rollback)

Quindi usa groupby normalmente:

g = df.groupby('YearMonth')

res = g['Values'].sum()

# YearMonth
# 2017-09-01    20
# 2017-10-01    30
# Name: Values, dtype: int64

Confronto con pd.Grouper

Il sottile vantaggio di questa soluzione è, a differenza pd.Grouper, che l'indice delle cernie viene normalizzato all'inizio di ogni mese anziché alla fine, e quindi puoi facilmente estrarre i gruppi tramite get_group:

some_group = g.get_group('2017-10-01')

Calcolare l'ultimo giorno di ottobre è leggermente più macchinoso. pd.Grouper, a partire dalla v0.23, supporta un conventionparametro, ma questo è applicabile solo per un PeriodIndexraggruppatore.

Confronto con la conversione di stringhe

Un'alternativa all'idea di cui sopra è convertire in una stringa, ad esempio convertire datetime 2017-10-XXin stringa '2017-10'. Tuttavia, ciò non è consigliato poiché si perdono tutti i vantaggi in termini di efficienza di una datetimeserie (archiviata internamente come dati numerici in un blocco di memoria contiguo) rispetto a una objectserie di stringhe (memorizzata come matrice di puntatori).

Soluzione leggermente alternativa a @ jpp ma che emette una YearMonthstringa:

df['YearMonth'] = pd.to_datetime(df['Date']).apply(lambda x: '{year}-{month}'.format(year=x.year, month=x.month))

res = df.groupby('YearMonth')['Values'].sum()