Un insieme probabilistico senza falsi positivi?

Quindi, i filtri Bloom sono piuttosto interessanti: sono set che supportano il controllo dell'appartenenza senza falsi negativi, ma con una piccola possibilità di un falso positivo. Di recente, però, ho desiderato un "filtro Bloom" che garantisca il contrario: niente falsi positivi, ma potenzialmente falsi negativi.

La mia motivazione è semplice: dato un enorme flusso di articoli da elaborare (con duplicati), vorremmo evitare di elaborare gli articoli che abbiamo visto prima. Elaborare un duplicato non fa male, è solo una perdita di tempo. Tuttavia, se trascurassimo di elaborare un elemento, sarebbe catastrofico. Con un "filtro Bloom inverso", è possibile archiviare gli oggetti visti con poco spazio in testa ed evitare di elaborare duplicati con alta probabilità testando l'appartenenza al set.

Eppure non riesco a trovare nulla del genere. I più vicini che ho trovato sono i " filtri Bloom ritoccati ", che consentono di scambiare falsi positivi selezionati con un tasso di falsi negativi più elevato. Non so quanto bene la loro struttura di dati si comporti quando si vogliono rimuovere tutti i falsi positivi.

Qualcuno ha visto qualcosa del genere? :)

Una risposta è usare una grande tabella di hash e quando si riempie inizia a sostituire gli elementi in essa anziché trovare slot vuoti (inesistenti) altrove per loro. Non ottieni la simpatica percentuale fissa di false risposte che ottieni con i filtri Bloom, ma è meglio di niente. Credo che questo sia standard, ad esempio nel software di scacchi, per tenere traccia delle posizioni che sono già state cercate.

La risposta a questa domanda è "no". Per capire perché, possiamo pensare a un caso molto estremo e al funzionamento di un normale filtro bloom rispetto a un filtro bloom "Bizzaro World" teorico, che possiamo chiamare un "filtro oscuro".

La cosa grandiosa di un filtro bloom è che puoi fare test unilaterali per l'appartenenza di articoli (con falsi positivi) usando una struttura di dati che ha una dimensione fissa rispetto alla probabilità di errore e al numero di articoli memorizzati. Le dimensioni degli articoli stessi non contano affatto. Ad esempio, se avessimo impostato un filtro bloom per archiviare fino a 1.000 articoli con un errore inferiore al 3%, potremmo memorizzare 1.000 versioni leggermente diverse dell'intero corpus di Wikipedia, con una lettera cambiata in ciascuna, e continueremmo ottenere le metriche che desideriamo e la struttura dei dati sarebbe molto piccola (meno di un kilobyte). Naturalmente, calcolare questi hash sarà una sfida, ma il principio è ancora valido.

Ora, considera di conservare quelle stesse stringhe enormi in un filtro oscuro! Ora possiamo avere solo falsi negativi. Quindi se diciamo "sì, quella versione dell'intero corpus di Wikipedia è in questo set", allora dobbiamo assolutamente avere ragione. Ciò significa che l'hash non ci aiuterà, poiché ci sarà sempre qualche altra stringa che ha lo stesso valore. L'unico modo per dire "sì" ed essere sicuri è archiviare l'intera stringa o alcuni dati equivalenti della stessa lunghezza. Non potremmo sempre non memorizzarlo e dire "no", ma alla fine il tasso di errore ci raggiungerà. Il meglio che potremmo fare è la compressione, riducendo le dimensioni della struttura al prodotto dell'entropia dei dati archiviati e della precisione che desideriamo.

Quindi, sfortunatamente, il filtro oscurità non esiste. La memorizzazione nella cache è l'unica soluzione, ma in realtà non è l'opposto di un filtro bloom, poiché le sue dimensioni saranno proporzionali al prodotto della quantità di informazioni archiviate e alla velocità di accuratezza desiderata del filtro. Naturalmente, in molti scenari del mondo reale, i dati di grandi dimensioni possono essere rappresentati da un ID, quindi la memorizzazione nella cache può essere ancora abbastanza accettabile. Ma è fondamentalmente diverso dal potente filtro di fioritura.

Vuoi solo una cache , ma ci stai pensando in un modo strano.

DISCLAIMER: Non sono un esperto di cache, quindi questa potrebbe essere un'idea ingenua, e potrebbe anche essere un'idea nota di cui non avevo mai sentito parlare prima. Quindi mi scusi se non cito il suo riferimento (se esiste); e per favore informami se c'è un riferimento per modificare il post e aggiungerlo. (Sospetto che potrebbe avere un riferimento perché è così intuitivo).

$c$$c$

Ho usato alberi AVL (e talvolta rosso-nero) con elementi parziali per fungere da filtro senza falsi negativi. Utilizzare solo i primi X byte dell'elemento durante l'inserimento o l'interrogazione dell'albero. Poiché la struttura dei dati non è probabilistica nella forma, non vi è il rischio di un falso positivo per collisione di bit. E a differenza della memorizzazione nella cache dell'intero elemento, questo approccio offre uno spazio massimo calcolabile. È possibile ottimizzare il tasso di falsi positivi considerando diverse lunghezze di prefisso / profondità degli alberi rispetto al costo dei falsi positivi e dello spazio.

Penso che si possa dimostrare un limite inferiore affermando che la struttura di dati di cui sopra non può esistere. Fondamentalmente, se la struttura dei dati utilizza m bit, allora un vettore bit fisso (rappresentazione di un input) può corrispondere al massimo (((un) + n eps) \ scegliere (un)) insiemi di un argomento di conteggio. Dato che 2 ^ m volte questo numero deve essere almeno (u \ scegli n) (tutti gli insiemi devono essere rappresentati), otteniamo un limite inferiore che è sostanzialmente molto vicino alla memorizzazione dell'insieme S con precisione.