I panda ottengono il massimo n record all'interno di ciascun gruppo

164

Supponiamo che io abbia DataFrame panda in questo modo:

>>> df = pd.DataFrame({'id':[1,1,1,2,2,2,2,3,4],'value':[1,2,3,1,2,3,4,1,1]})
>>> df
   id  value
0   1      1
1   1      2
2   1      3
3   2      1
4   2      2
5   2      3
6   2      4
7   3      1
8   4      1

Voglio ottenere un nuovo DataFrame con i primi 2 record per ogni ID, in questo modo:

   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

Posso farlo con i record di numerazione all'interno del gruppo dopo il gruppo da:

>>> dfN = df.groupby('id').apply(lambda x:x['value'].reset_index()).reset_index()
>>> dfN
   id  level_1  index  value
0   1        0      0      1
1   1        1      1      2
2   1        2      2      3
3   2        0      3      1
4   2        1      4      2
5   2        2      5      3
6   2        3      6      4
7   3        0      7      1
8   4        0      8      1
>>> dfN[dfN['level_1'] <= 1][['id', 'value']]
   id  value
0   1      1
1   1      2
3   2      1
4   2      2
7   3      1
8   4      1

Ma esiste un approccio più efficace / elegante per farlo? E c'è anche un approccio più elegante ai record numerici all'interno di ciascun gruppo (come la funzione della finestra SQL row_number () ).

— Roman Pekar
fonte

Un possibile duplicato del dataframe

— soldato, il

"top-n" non significa "le righe n più in alto / primo / head", come stai cercando! Significa "le n righe con i valori più grandi".

— smci,

Risposte:

183

Hai provato df.groupby('id').head(2)

Ouput generato:

>>> df.groupby('id').head(2)
       id  value
id             
1  0   1      1
   1   1      2 
2  3   2      1
   4   2      2
3  7   3      1
4  8   4      1

(Tieni presente che potresti dover ordinare / ordinare prima, a seconda dei tuoi dati)

EDIT: come menzionato dall'interrogatore, utilizzare df.groupby('id').head(2).reset_index(drop=True)per rimuovere il multindex e appiattire i risultati.

>>> df.groupby('id').head(2).reset_index(drop=True)
    id  value
0   1      1
1   1      2
2   2      1
3   2      2
4   3      1
5   4      1

— dorvak
fonte

Sì, penso che sia così. Trascurato questo in qualche modo. Conosci un buon modo per numerare i record all'interno del gruppo?

— Roman Pekar,

Per ottenere l'output di cui ho bisogno, ho anche aggiunto.reset_index(drop=True)

— Roman Pekar,

github.com/pydata/pandas/pull/5510 è stato appena unito; sarà in 0.13, nuovo metodo per fare esattamente questo chiamato cumcount(numerare i record in ciascun gruppo)

— Jeff

@Jeff buone notizie. Vorrei avere più tempo per contribuire a Panda :(

— Roman Pekar,

Per rendere @dorvak la sua risposta più completa, se vuoi i 2 valori più piccoli per idallora fallo df.sort_values(['id', 'value'], axis=0).groupby('id').head(2). Un altro esempio, il valore più grande per idè dato da df.sort_values(['id', 'value'], axis=0).groupby('id').tail(1).

— Elmex80s

133

Da 0.14.1 , ora puoi fare nlargeste nsmallestsu un groupbyoggetto:

In [23]: df.groupby('id')['value'].nlargest(2)
Out[23]: 
id   
1   2    3
    1    2
2   6    4
    5    3
3   7    1
4   8    1
dtype: int64

C'è una piccola stranezza che si ottiene l'indice originale in là pure, ma questo potrebbe essere veramente utile a seconda di cosa il vostro indice originale era .

Se non ti interessa, puoi farlo .reset_index(level=1, drop=True)per sbarazzartene del tutto.

(Nota: da 0.17.1 sarai in grado di farlo anche su un DataFrameGroupBy ma per ora funziona solo con Seriese SeriesGroupBy.)

— LondonRob
fonte

C'è un modo per arrivare unique_limit(n)? Come voglio i primi n valori univoci? Se lo chiederò, nlargest

— ordinerò

Questo non funziona per i casi in cui si esegue un aggregato sul groupby? Ad esempio, df.groupby([pd.Grouper(freq='M'), 'A'])['B'].count().nlargest(5, 'B') Questo restituisce solo la top 5 complessiva dell'intera serie, non per ogni gruppo

— geominded

L'affermazione che questo è ora possibile anche su DataFrameGroupBys sembra essere falsa, la richiesta pull collegata sembra aggiungere solo nlargesta semplici DataFrames. Il che è piuttosto sfortunato, perché se si desidera selezionare più di una colonna?

— oulenz,

A volte l'ordinamento completo dei dati richiede molto tempo. Possiamo raggruppare per primi e fare topk per ogni gruppo:

g = df.groupby(['id']).apply(lambda x: x.nlargest(topk,['value'])).reset_index(drop=True)

— Chaffee Chen
fonte