BitTorrent è utile per copiare file tra server sul posto di lavoro?

Ho 1 server di origine che contiene circa 30 GB di file che voglio copiare su altri 7 server. Attualmente SCP i file sui primi quattro server e quando quel trasferimento è completo SCP sugli ultimi 3 server.

L'uso di BitTorrent sarebbe più veloce per distribuire i file a tutti e 7 contemporaneamente? La connessione internamente è già veloce e coerente tra ciascuno dei server. So che probabilmente richiederebbe un po 'di carico dal server di origine, ma ci vorrebbe solo più tempo per distribuire i file?

Qual è un buon client con script che potrei usare dalla shell? Vorrei che tutti smettessero di seminare dopo il 100%.

Dipende da come è strutturata la tua rete e da dove si trovano i colli di bottiglia, ma sì, può essere più veloce usare BitTorrent. In teoria, invece di inviare 7 copie degli stessi file, il server di origine dovrebbe solo inviare 1 copia, suddivisa tra i destinatari. Al momento in cui ciò accade, i peer rimanenti avranno condiviso le parti che non hanno ricevuto direttamente tra loro.

Se la tua rete supporta il multicast, tuttavia, è probabilmente più semplice configurare udpcast , mdp , multisend o qualcosa del genere: la tua sorgente invierà una singola copia dei dati e la rete li indirizzerà a tutti i destinatari.

Il vantaggio di BitTorrent rispetto ad altri strumenti di distribuzione dei file, ad esempio rsync , è che i client iniziano a offrire i loro dati agli altri client, quindi se il server ha una connessione lenta con i client, il throughput sarà molto migliore.

BT è tuttavia un protocollo progettato per la condivisione globale. Quindi dovrai trovare un modo per bloccare tutti gli altri client, ma i 7 che vuoi alimentare (o il tuo torrent finirà presto su The Pirate Bay).

Per quanto riguarda l'arresto al 100%, ogni client BT lo farà: poiché nessun client richiede più i dati, non ci sarà più seeding. L'applicazione continuerà a funzionare, ma causerà solo un po 'di dati tra i client e il tracker per dirlo che sono ancora disponibili.

Prova il client BitTorrent originale che è scritto in Python. Ciò ti consentirà di apportare qualsiasi modifica desideri. Sfortunatamente, non riesco a trovare un collegamento ATM. Chiunque?

[EDIT] Basato su un commento saua : se usi un tracker privato, i tuoi torrent non dovrebbero diffondersi in modo imprevisto. Detto questo, dovresti usare solo un client torrent da una fonte affidabile. Altrimenti, potresti rischiare che qualche cracker abbia aggiunto una piccola funzione extra al codice che pubblica torrent privati ​​da qualche parte dove non vuoi che vengano visualizzati.

BitTorrent è un'ottima idea se si desidera replicare i file attraverso un albero di server senza, ad esempio, dover inviare un comando remoto a tutti i server per copiare dallo stesso posto; potenzialmente causando un collo di bottiglia.

Gli ingegneri di Twitter lo hanno fatto con grande successo con Murder, che ora è su github.

http://engineering.twitter.com/2010/07/murder-fast-datacenter-code-deploys.html

Se tutti e 8 i tuoi server sono collegati alla stessa sezione della rete usando Bit Torrent è improbabile che acceleri le cose. In effetti otterresti così tante collisioni che probabilmente sarebbe molto lento. BitTorrent accelererebbe le cose solo se si utilizza una rete completamente commutata e gli otto server possono comunicare tra loro in modo indipendente senza influire sulla comunicazione tra gli altri server.