Sincronizzazione directory con rilevamento peer automatico

10

Sto lavorando con un cluster di server Linux dietro la funzione di scalabilità automatica del cloud Amazon ( documentazione ). Ci sono file che si accumulano su ciascun server, sono file di cache per l'applicazione. Sto cercando un modo automatico per far sincronizzare i server tra loro quella cartella.

Rsync funzionerebbe se qualcuno avesse un modo intelligente di fare il peer rilevamento.
Lo stesso vale per Unison.
Abbiamo anche considerato l'utilizzo di un SaaS come Dropbox.
Gluster sembra eccessivo e non sono sicuro di quanto sia facile un nuovo computer che si unisce automaticamente al cluster.

Idealmente ciò che accadrebbe è quando viene lanciato un nuovo server, scopre i suoi pari e inizia a sincronizzare la cartella. Da quel momento in poi è un ultimo filestamp che vince la sincronizzazione P2P.

Qualcosa là fuori che lo fa?

linux rsync cluster

— Caleb
fonte

Questo non rileva i peer, ma può essere interessante a prescindere - mrsync.sourceforge.net .

— Faheem Mitha,

1

Sai come potrebbe sembrare strano ma usare rtorrent con DHT abilitato sulla gamma privata ec2 potrebbe funzionare

Questo ti darebbe

Rilevamento peer automatico
Stati dei file verificati (yay per hash)
Requisiti di configurazione minimi (aggiungi il magnete (o ip virtuale per l'ultimo torrent) per il torrent nello script di avvio)
scalabilità

— Tacticus
fonte

1

Rsync upstream fornisce supporto per SLP (Service location protocol). Non è abilitato nei sorgenti vanilla rsync, ma è possibile trovare il supporto SLP nel tarball rsync-patches nella homepage di rsync (slp.diff). Ad esempio il pacchetto SUSE rsync è creato con questa patch; Non conosco altre distribuzioni.

Non sono sicuro che questo sia quello che stai cercando, né ho alcuna esperienza con SLP.

— Petr Uzel
fonte

0

Forse mi manca qualcosa qui, ma c'è qualche ragione per cui non si configura solo una semplice directory NFS e tutte le macchine lo montano? Ogni volta che l'app scrive il nuovo file di cache, dovrebbe semplicemente sovrascrivere quelli vecchi.

— opsguy
fonte

1

Ciao opsguy. Quello che ti manca è cosa succede quando la macchina con NFS fallisce? Stiamo cercando di eliminare il singolo punto di errore per la cache.

0

Sono abbastanza sicuro che esiste uno strumento di gestione di Amazon, come Command Line Tools , che ti consente di scrivere uno script di avvio per far scoprire i nodi tra loro, tramite indirizzi IP privati o pubblici.

A proposito, rsync e Unison non sono lo strumento giusto, se devono distribuire le modifiche alla cache molto frequentemente. In questo caso dovresti prendere in considerazione alcuni file system realmente distribuiti.

— Marco Solieri
fonte

0

Forse DRBD (dispositivo a blocchi distribuito)?

— MSpike
fonte

1

Grazie per la tua risposta, ma manca di sostanza. DRBD non è così noto che non richiede almeno un collegamento. Ma davvero, dovresti dare maggiori informazioni: perché è adatto DRBD? Come funzionerebbe? Soprattutto considerando che Kevin pensava che Gluster fosse eccessivo: perché DRBD non lo sarebbe?

— Gilles 'SO- smetti di essere malvagio' il

Mi sono appena reso conto che stai cercando la scoperta automatica tra pari, quindi questa non è adatta a te. DRBD è un dispositivo a blocchi sul tuo hardware reale o nella parte superiore di alcuni volumi, e quindi li sincronizza sulla rete.

— MSpike,