Trova rapidamente coppie simmetriche in numpy

15

from itertools import product
import pandas as pd

df = pd.DataFrame.from_records(product(range(10), range(10)))
df = df.sample(90)
df.columns = "c1 c2".split()
df = df.sort_values(df.columns.tolist()).reset_index(drop=True)
#     c1  c2
# 0    0   0
# 1    0   1
# 2    0   2
# 3    0   3
# 4    0   4
# ..  ..  ..
# 85   9   4
# 86   9   5
# 87   9   7
# 88   9   8
# 89   9   9
# 
# [90 rows x 2 columns]

Come posso trovare, identificare e rimuovere rapidamente l'ultimo duplicato di tutte le coppie simmetriche in questo frame di dati?

Un esempio di coppia simmetrica è che '(0, 1)' è uguale a '(1, 0)'. Quest'ultimo dovrebbe essere rimosso.

L'algoritmo deve essere veloce, quindi si consiglia di usare numpy. La conversione in oggetto Python non è consentita.

python pandas numpy

— The Unfun Cat
fonte

1

Potresti dare un esempio di ciò che capisci symmetric pairs?

— yatu,

(0, 1) == (1,0) è True

— The Unfun Cat,

1

(0, 1) == (0, 1) è anche True?

— wundermahn,

@JerryM. Sì, ma è banale rimuovere condf.drop_duplicates()

— The Unfun Cat,

2

@ molybdenum42 Uso il prodotto itertools per creare un esempio, i dati stessi non vengono creati con il prodotto itertools.

— The Unfun Cat,

13

È possibile ordinare i valori, quindi groupby:

a= np.sort(df.to_numpy(), axis=1)
df.groupby([a[:,0], a[:,1]], as_index=False, sort=False).first()

Opzione 2 : se hai molte coppie c1, c2, groupbypuò essere lento. In tal caso, possiamo assegnare nuovi valori e filtrare per drop_duplicates:

a= np.sort(df.to_numpy(), axis=1) 

(df.assign(one=a[:,0], two=a[:,1])   # one and two can be changed
   .drop_duplicates(['one','two'])   # taken from above
   .reindex(df.columns, axis=1)
)

— Quang Hoang
fonte

7

Un modo è usare np.uniquecon return_index=Truee utilizzare il risultato per indicizzare il dataframe:

a = np.sort(df.values)
_, ix = np.unique(a, return_index=True, axis=0)

print(df.iloc[ix, :])

    c1  c2
0    0   0
1    0   1
20   2   0
3    0   3
40   4   0
50   5   0
6    0   6
70   7   0
8    0   8
9    0   9
11   1   1
21   2   1
13   1   3
41   4   1
51   5   1
16   1   6
71   7   1
...

— yatu
fonte

1

Sì, altrimenti unico non riesce a rilevare coppie simmetriche @DanielMesejo

— yatu,

Ok, vedo, quindi stai ordinando le coppie

— Dani Mesejo,

Sì, ma voglio dire che trasformi [1, 0] in [0, 1] giusto?

— Dani Mesejo,

6

`frozenset`

mask = pd.Series(map(frozenset, zip(df.c1, df.c2))).duplicated()

df[~mask]

— piRSquared
fonte

1

Non stai ripetendo lentamente le tuple su ogni colonna qui? Comunque, voto positivo.

— The Unfun Cat,

Sì, sto ripetendo. No, non è lento come pensi.

— piRSquared,

5

lo farò

df[~pd.DataFrame(np.sort(df.values,1)).duplicated().values]

Da panda e numpy tri

s=pd.crosstab(df.c1,df.c2)
s=s.mask(np.triu(np.ones(s.shape)).astype(np.bool) & s==0).stack().reset_index()

— YOBEN_S
fonte

5

Ecco uno basato su NumPy per numeri interi -

def remove_symm_pairs(df):
    a = df.to_numpy(copy=False)
    b = np.sort(a,axis=1)
    idx = np.ravel_multi_index(b.T,(b.max(0)+1))
    sidx = idx.argsort(kind='mergesort')
    p = idx[sidx]
    m = np.r_[True,p[:-1]!=p[1:]]
    a_out = a[np.sort(sidx[m])]
    df_out = pd.DataFrame(a_out)
    return df_out

Se si desidera conservare i dati dell'indice così come sono, utilizzare return df.iloc[np.sort(sidx[m])].

Per i numeri generici (ints / float, ecc.), Useremo view-baseduno -

# https://stackoverflow.com/a/44999009/ @Divakar
def view1D(a): # a is array
    a = np.ascontiguousarray(a)
    void_dt = np.dtype((np.void, a.dtype.itemsize * a.shape[1]))
    return a.view(void_dt).ravel()

e semplicemente sostituire il passo per ottenere idxcon idx = view1D(b)a remove_symm_pairs.

— Divakar
fonte

1

Se questo deve essere veloce e se le tue variabili sono intere, il seguente trucco può essere d'aiuto: lascia che v,wsiano le colonne del tuo vettore; costruire [v+w, np.abs(v-w)] =: [x, y]; quindi ordinare questa matrice lessicograficamente, rimuovere i duplicati e infine mapparla di nuovo su [v, w] = [(x+y), (x-y)]/2.

— Federico Poloni
fonte