Differenza tra set di calcolo tra due set di grandi dimensioni

Ho due grandi insiemi di interi $A$ e $B$ . Ogni set ha circa un milione di voci e ogni voce è un numero intero positivo lungo al massimo 10 cifre.

Qual è l'algoritmo migliore per calcolare e B ∖ A ? In altre parole, come posso calcolare in modo efficiente l'elenco delle voci di A che non sono in B e viceversa? Quale sarebbe la migliore struttura di dati per rappresentare questi due set, per rendere efficienti queste operazioni?$A\setminus B$$B\setminus A$$A$$B$

L'approccio migliore che posso trovare è quello di memorizzare questi due set come elenchi ordinati e confrontare ogni elemento di con ogni elemento di B , in modo lineare. Possiamo fare di meglio?$A$$B$

Se si desidera archiviare i set in una struttura di dati specializzata, è possibile ottenere alcune complessità interessanti.

Sia $I=\mathcal O\left(\min\left(|A|,|B|,|A\Delta B|\right)\right)$

Quindi è possibile impostare le operazioni e A Δ B , ciascuna in O ( I ⋅ log | A | + | B $A\cup B, A\cap B,A\setminus B$$A\Delta B$$\mathcal O\left(I\cdot\log\frac{|A|+|B|}{I}\right)$ tempo previsto. Quindi, in sostanza, ottieni la dimensione minima dei due insiemi, o, la dimensione della differenza simmetrica, a seconda di quale è minore. Questo è meglio di lineare, se la differenza simmetrica è piccola; vale a dire. se hanno un grande incrocio. In effetti, per le due operazioni di differenza di set desiderate, questo è praticamente sensibile all'output, poiché insieme costituiscono la dimensione della differenza simmetrica.

Vedi Set e mappe confluentemente persistenti di Olle Liljenzin (2013) per ulteriori informazioni.

Una scansione lineare è la migliore che io sappia fare, se gli insiemi sono rappresentati come elenchi collegati ordinati. Il tempo di esecuzione è .$O(|A| + |B|)$

Nota che non è necessario confrontare ogni elemento di con ogni elemento di B , a coppie. Ciò porterebbe a un tempo di esecuzione di O ( | A | × | B | ) , che è molto peggio. Invece, per calcolare la differenza simmetrica di questi due set, è possibile utilizzare una tecnica simile all'operazione "unisci" in mergesort, opportunamente modificata per omettere i valori comuni a entrambi i set.$A$$B$$O(|A| \times |B|)$

Più in dettaglio, è possibile creare un algoritmo ricorsivo come il seguente per calcolare , supponendo che A e B siano rappresentati come elenchi collegati con i loro valori in ordine ordinato:$A \setminus B$$A$$B$

difference(A, B):
    if len(B)=0:
        return A # return the leftover list
    if len(A)=0:
        return B # return the leftover list
    if A[0] < B[0]:
        return [A[0]] + difference(A[1:], B)
    elsif A[0] = B[0]:
        return difference(A[1:], B[1:])  # omit the common element
    else:
        return [B[0]] + difference(A, B[1:])

L'ho rappresentato in pseudo-Python. Se non leggi Python, A[0]è il capo dell'elenco collegato A, A[1:]è il resto dell'elenco e +rappresenta la concatenazione degli elenchi. Per motivi di efficienza, se stai lavorando in Python, probabilmente non vorrai implementarlo esattamente come sopra - per esempio, potrebbe essere meglio usare i generatori, per evitare di creare molti elenchi temporanei - ma volevo mostrarti le idee nella forma più semplice possibile. Lo scopo di questo pseudo-codice è solo quello di illustrare l'algoritmo, non proporre un'implementazione concreta.

Non penso che sia possibile fare di meglio, se i tuoi set sono rappresentati come elenchi ordinati e vuoi che l'output sia fornito come un elenco ordinato. È fondamentalmente deve guardare ogni elemento di e B . Schizzo informale della giustificazione: se c'è qualche elemento che non hai guardato, non puoi emetterlo, quindi l'unico caso in cui puoi omettere di guardare un elemento è se sai che è presente sia in A che in B , ma come fai a sapere che è presente se non hai osservato il suo valore?$A$$B$$A$$B$

Se A e B sono della stessa dimensione, disgiunti e interlacciati (ad es. Numeri dispari in A e numeri pari in B), probabilmente il confronto a coppie di elementi in tempo lineare è probabilmente ottimale.

Se A e B contengono blocchi di elementi che si trovano esattamente in uno di A o B, o in entrambi, è possibile calcolare la differenza, l'unione e l'intersezione impostate in un tempo sub lineare. Ad esempio, se A e B differiscono esattamente in un elemento, la differenza può essere calcolata in O (log n).

http://arxiv.org/abs/1301.3388

un'opzione è usare i bitvector per rappresentare i set (dove il$n$la posizione rappresenta la presenza o l'assenza di un elemento) e le operazioni di tipo set quindi riducono a operazioni binarie che possono essere eseguite rapidamente (e su più bit in parallelo) su computer digitali. in questo caso$A-B$ = $a \wedge \overline b$ dove $a,b$sono i bitvector. l'efficienza relativa di questa tecnica rispetto ad altre tecniche dipende anche dalla scarsità. per insiemi più densi può essere più efficiente di altri approcci. ovviamente anche l'intera operazione è imbarazzantemente parallela, quindi le operazioni impostate possono essere fatte in parallelo.