Come "selezionare distinti" su più colonne di frame di dati nei panda?

Sto cercando un modo per eseguire l'equivalente di SQL

SELECT DISTINCT col1, col2 FROM dataframe_table

Il confronto sql panda non ha nulla a che fare distinct.

.unique() funziona solo per una singola colonna, quindi suppongo di poter concatenare le colonne o metterle in una lista / tupla e confrontarle in questo modo, ma questo sembra qualcosa che i panda dovrebbero fare in un modo più nativo.

Mi manca qualcosa di ovvio o non c'è modo di farlo?

Puoi utilizzare il drop_duplicatesmetodo per ottenere le righe univoche in un DataFrame:

In [29]: df = pd.DataFrame({'a':[1,2,1,2], 'b':[3,4,3,5]})

In [30]: df
Out[30]:
   a  b
0  1  3
1  2  4
2  1  3
3  2  5

In [32]: df.drop_duplicates()
Out[32]:
   a  b
0  1  3
1  2  4
3  2  5

Puoi anche fornire l' subsetargomento della parola chiave se desideri utilizzare solo determinate colonne per determinare l'unicità. Vedi la docstring .

Ho provato diverse soluzioni. Il primo è stato:

a_df=np.unique(df[['col1','col2']], axis=0)

e funziona bene per i dati non oggetto Un altro modo per farlo ed evitare errori (per il tipo di colonne oggetto) è applicare drop_duplicates ()

a_df=df.drop_duplicates(['col1','col2'])[['col1','col2']]

Puoi anche usare SQL per farlo, ma nel mio caso ha funzionato molto lentamente:

from pandasql import sqldf
q="""SELECT DISTINCT col1, col2 FROM df;"""
pysqldf = lambda q: sqldf(q, globals())
a_df = pysqldf(q)

Non esiste un uniquemetodo per un df, se il numero di valori univoci per ciascuna colonna fosse lo stesso, allora funzionerebbe quanto segue: df.apply(pd.Series.unique)ma in caso contrario, verrà visualizzato un errore. Un altro approccio sarebbe quello di memorizzare i valori in un dict che è digitato sul nome della colonna:

In [111]:
df = pd.DataFrame({'a':[0,1,2,2,4], 'b':[1,1,1,2,2]})
d={}
for col in df:
    d[col] = df[col].unique()
d

Out[111]:
{'a': array([0, 1, 2, 4], dtype=int64), 'b': array([1, 2], dtype=int64)}

Per risolvere un problema simile, sto usando groupby:

print(f"Distinct entries: {len(df.groupby(['col1', 'col2']))}")

Se ciò è appropriato dipenderà da ciò che vuoi fare con il risultato, però (nel mio caso, volevo solo l'equivalente di COUNT DISTINCTcome mostrato).

Penso che l'uso a drop duplicatevolte non sarà così utile a seconda del dataframe.

Ho trovato questo:

[in] df['col_1'].unique()
[out] array(['A', 'B', 'C'], dtype=object)

E lavora per me!

https://riptutorial.com/pandas/example/26077/select-distinct-rows-across-dataframe

Puoi prendere i set di colonne e sottrarre semplicemente il set più piccolo dal set più grande:

distinct_values = set(df['a'])-set(df['b'])