Possibilità di generare Mongo ObjectId duplicati in due diverse raccolte?

È possibile generare lo stesso Mongo ObjectId esatto per un documento in due raccolte diverse? Mi rendo conto che è sicuramente molto improbabile, ma è possibile?

Senza essere troppo specifici, il motivo per cui lo chiedo è che con un'applicazione a cui sto lavorando mostriamo profili pubblici di funzionari eletti che speriamo di convertire in utenti a pieno titolo del nostro sito. Abbiamo raccolte separate per gli utenti e i funzionari eletti che non sono attualmente membri del nostro sito. Esistono vari altri documenti contenenti vari dati relativi ai funzionari eletti che tutti riconducono alla persona che utilizza il suo ObjectId ufficiale eletto.

Dopo aver creato l'account, evidenziamo ancora i dati associati al funzionario eletto ma ora fanno anche parte della raccolta di utenti con un ObjectId di utenti corrispondente per mappare il loro profilo alle interazioni con la nostra applicazione.

Avevamo iniziato a convertire la nostra applicazione da MySql a Mongo alcuni mesi fa e mentre siamo in fase di transizione archiviamo l'id MySql legacy per entrambi questi tipi di dati e stiamo anche iniziando a archiviare l'oggetto Mongo ufficiale eletto negli utenti documento da mappare ai dati ufficiali eletti.

Stavo meditando di specificare il nuovo User ObjectId come precedente ObjectId ufficiale eletto per semplificare le cose, ma volevo assicurarmi che non fosse possibile avere una collisione con nessun ObjectId utente esistente.

Grazie per la tua comprensione.

Modifica: poco dopo aver pubblicato questa domanda, mi sono reso conto che la mia soluzione proposta non era una buona idea. Sarebbe meglio solo mantenere lo schema attuale che abbiamo in atto e semplicemente collegarsi al "_id" ufficiale eletto nel documento degli utenti.

Risposta breve

Solo per aggiungere una risposta diretta alla domanda iniziale: SÌ, se si utilizza la generazione di ID oggetto BSON, allora per la maggior parte dei driver gli ID saranno quasi sicuramente unici in tutte le raccolte. Vedi sotto per cosa significa "quasi certamente".

Risposta lunga

È molto probabile che l'ID oggetto BSON generato dai driver Mongo DB sia univoco tra le raccolte. Ciò è principalmente dovuto agli ultimi 3 byte dell'ID, che per la maggior parte dei driver viene generato tramite un contatore incrementale statico. Quel contatore è indipendente dalla raccolta; è globale. Il driver Java, ad esempio, utilizza un AtomicInteger statico casualmente inizializzato.

Quindi perché, nei documenti Mongo, dicono che gli ID sono "altamente probabili" per essere unici, invece di dire apertamente che saranno unici? Possono verificarsi tre possibilità in cui non si ottiene un ID univoco (per favore fatemi sapere se ci sono più):

Prima di questa discussione, ricorda che l'ID oggetto BSON è costituito da:

[4 byte secondi dall'epoca, hash macchina 3 byte, ID processo 2 byte, contatore 3 byte]

Ecco le tre possibilità, quindi giudichi tu stesso quanto è probabile ottenere un duplicato:

1) Overflow del contatore: ci sono 3 byte nel contatore. Se ti capita di inserire più di 16.777.216 (2 ^ 24) documenti in un solo secondo, sullo stesso computer, nello stesso processo, puoi overflow dei byte del contatore incrementale e finire con due ID oggetto che condividono lo stesso tempo, computer , processo e valori contatore.

2) Contatore non incrementale: alcuni driver Mongo usano numeri casuali invece di incrementare i numeri per i byte contatore. In questi casi, esiste una possibilità 1 / 16.777.216 di generare un ID non univoco, ma solo se questi due ID vengono generati nello stesso secondo (ovvero prima che la sezione temporale dell'ID si aggiorni al secondo successivo), sullo stesso macchina, nello stesso processo.

3) Hash della macchina e del processo con gli stessi valori. I valori di ID macchina e ID processo possono, in alcuni scenari altamente improbabili, essere associati agli stessi valori per due macchine diverse. In questo caso, e allo stesso tempo i due contatori sulle due macchine diverse, durante lo stesso secondo, generano lo stesso valore, quindi ti ritroverai con un ID duplicato.

Questi sono i tre scenari a cui prestare attenzione. Gli scenari 1 e 3 sembrano altamente improbabili e lo scenario 2 è totalmente evitabile se si utilizza il driver giusto. Dovrai controllare la fonte del driver per sapere con certezza.

Gli ObjectId vengono generati sul lato client in un modo simile a UUID ma con alcune proprietà più piacevoli per l'archiviazione in un database come aumentare all'incirca l'ordine e codificare il tempo di creazione gratuitamente. La cosa fondamentale per il tuo caso d'uso è che sono progettati per garantire unicità ad un'alta probabilità anche se sono generati su macchine diverse.

Ora, se ci si riferiva al campo _id in generale, non è richiesta l'unicità tra le raccolte, quindi è possibile riutilizzare in sicurezza il vecchio _id. Ad esempio concreto, se hai due raccolte, colorsed fruitsentrambe potrebbero avere contemporaneamente un oggetto simile {_id: 'orange'}.

Se vuoi saperne di più su come vengono creati gli ObjectId, ecco le specifiche: http://www.mongodb.org/display/DOCS/Object+IDs#ObjectIDs-BSONObjectIDSpecification

Nel caso in cui qualcuno abbia problemi con duplicati di Mongo ObjectID, dovresti sapere che nonostante l'improbabilità che i dups avvengano in Mongo stesso, è possibile avere _id duplicati generati con PHP in Mongo.

Il caso d'uso in cui ciò è accaduto con regolarità per me è quando eseguo il ciclo continuo di un set di dati e tento di iniettare i dati in una raccolta.

L'array che contiene i dati di iniezione deve essere reimpostato esplicitamente su ogni iterazione, anche se non si specifica il valore _id. Per qualche motivo, il processo INSERT aggiunge Mongo _id all'array come se fosse una variabile globale (anche se l'array non ha un ambito globale). Ciò può influire anche se si sta chiamando l'inserimento in una chiamata di funzione separata dove normalmente ci si aspetterebbe che i valori dell'array non persistano nella funzione chiamante.

Esistono tre soluzioni a questo:

1. È possibile unset()il campo _id dall'array
2. È possibile reinizializzare l'intero array array()ogni volta che si esegue il ciclo del set di dati
3. Puoi definire tu stesso esplicitamente il valore _id (avendo cura di definirlo in modo tale da non generare tu stesso duplicati).

La mia ipotesi è che questo sia un bug nell'interfaccia di PHP, e non tanto un problema con Mongo, ma se ti imbatti in questo problema, disattiva il _id e dovresti andare bene.

Non esiste alcuna garanzia sull'unicità di ObjectId tra le raccolte. Anche se è probabilisticamente molto improbabile, si tratterebbe di un design di applicazione molto scadente che si basava sull'unicità di _id tra le raccolte.

Si può facilmente provare questo nella shell mongo:

MongoDB shell version: 1.6.5
connecting to: test
> db.foo.insert({_id: 'abc'})
> db.bar.insert({_id: 'abc'})
> db.foo.find({_id: 'abc'})
{ "_id" : "abc" }
> db.bar.find({_id: 'abc'})
{ "_id" : "abc" }
> db.foo.insert({_id: 'abc', data:'xyz'})
E11000 duplicate key error index: test.foo.$_id_  dup key: { : "abc" }

Quindi, non fare assolutamente affidamento sul fatto che _id sia unico in tutte le raccolte e poiché non si controlla la funzione di generazione di ObjectId, non fare affidamento su di essa.

È possibile creare qualcosa che assomigli di più a un uuido e, se lo fai manualmente, potresti avere una migliore garanzia di unicità.

Ricorda che puoi inserire oggetti di "tipi" diversi nella stessa raccolta, quindi perché non mettere semplicemente i tuoi due "tavoli" nella stessa raccolta. Condividono lo stesso spazio _id, e quindi, sarebbero garantiti unici. Passare da "potenziale" a "registrato" sarebbe un semplice capovolgimento di un campo ...