Backup incrementali Mongodb

Mi è stato assegnato il compito di impostare backup incrementali per il replicaset MongoDB, come punto di partenza, ovviamente, l'ho cercato su Google e non ho trovato nulla sui documenti MongoDB, ho trovato comunque questa domanda su Stack Overflow, che ha incoraggiato a sviluppare la mia soluzione come non ho trovato Tayra molto attivo.

Ho letto oploge capito che era molto facile sviluppare qualcosa per riprodurre il registro, ma risulta che non dovevo farlo mongorestoreper me.

Ora ho una soluzione funzionante con script bash ed è stato abbastanza facile, ecco il motivo per cui sto chiedendo qui se c'è qualche difetto nella mia logica, o forse qualcosa che mi morderà in futuro.

Di seguito come l'ho implementato:

Procedura di backup completo

1. lock scrive su un membro secondario db.fsyncLock()
2. Scatta un'istantanea

3. Registra l'ultima posizione da oplog

   db.oplog.rs.find().sort({$natural:-1}).limit(1).next().ts

4. Sblocca le scritture db.fsyncUnlock()

Procedura di backup incrementale

1. lock scrive su un membro secondario

2. Dump oplog dalla posizione di oplog registrata sul backup completo (o più recente incrementale):

   mongodump --host <secondary> -d local -c oplog.rs -o /mnt/mongo-test_backup/1 
       --query '{ "ts" : { $gt :  Timestamp(1437725201, 50) } }'
   

3. Registra l'ultima posizione di oplog (come per i backup completi)

4. Sblocca le scritture

Procedura di ripristino del backup completo

1. interrompere tutte le istanze di mongod
2. copia l'istantanea nella directory dei dati della casella che sarà la principale, ma assicurati di escludere tutto local*e mongod.lock questa tecnica di ripristino si chiama riconfigura rompendo il mirror
3. Inizia primario
4. riconfigurare replicaset
5. avviare secondari senza dati, consentire loro di eseguire la sincronizzazione iniziale. Oppure copia i dati dal nuovo primario con un nuovo localdatabase

Ripristina backup incrementale

Quando abbiamo creato il backup incrementale lo ha archiviato in questo modo:

/mnt/mongo-test_backup/1/local/oplog.rs.bson
/mnt/mongo-test_backup/1/local/oplog.rs.metadata.json

Siamo coinvolti oplog.rs.bsonma dovremo rinominarlo, quindi ecco i passaggi:

1. cambia directory nel backup: cd /mnt/mongo-test_backup/1/local
2. elimina il file json rm *.json
3. rinominare il file bson mv oplog.rs.bson oplog.bson

4. ripristinalo:

   mongorestore -h <primary> --port <port> --oplogReplay /mnt/mongo-test_backup/1/local

Ho tutto lo script, potrei impegnarlo su GitHub in seguito.

La domanda è se c'è qualche difetto nella logica? Sono un po 'sospettoso in quanto la procedura è piuttosto semplice e ancora non riesco a trovarla documentata da nessuna parte.

Per rispondere alla tua domanda. No! Non c'è errore nella tua logica e dovrebbe funzionare senza problemi. Tuttavia, se è possibile utilizzare le snapshot LVM, è il modo migliore per eseguire i backup.