Archiviazione dei dati distribuiti per reti lente con churn di nodo elevato?


0

Quale archiviazione di dati distribuiti dovrei usare per archiviare i dati in modo affidabile su set di nodi con una scarsa rete tra loro?

Voglio qualcosa che:

  • Non prevede che tutti i nodi siano raggiungibili ora, incluso il supporto dell'operazione offline;
  • Inizialmente archiviare i dati localmente, ma alla fine (quando la rete è buona e più nodi online) li diffondono ad altri nodi necessari;
  • Avere un buon riequilibrio e riparazione automatici di fronte ai nodi si unisce e lascia la rete;
  • Gestire nodi che differiscono notevolmente in termini di capacità, archiviando solo piccoli e priorità su piccoli nodi;
  • Tratta lo speciale nodo locale: i dati "my" vengono sempre prima archiviati sul nodo locale, quindi sottoposti a backup su altri nodi.

La maggior parte delle soluzioni come Tahoe-LAFS o GlusterFS sembrano aspettarsi un insieme più o meno stabile di nodi mantenuti online e connessi con una buona rete, senza tempi di inattività pianificati estesi. Esiste un archivio distribuito speciale che prevede che i nodi siano offline su base regolare?


Non credo che troverai tutti quelli che "si aspettano" tempi di inattività. Il meglio che otterrai sono quelli che sono in grado di aggirare i tempi di inattività tramite journaling e parità adeguati - e anche quelli avranno limiti (e richiedono più spazio di archiviazione per estendere le aspettative di tempi di inattività a più nodi). Qual è la ragione per cui hai bisogno di tempi di inattività "previsti" integrati nella tua soluzione? La correzione del motivo per cui i tempi di inattività non sarebbe il primo passo per implementare una soluzione?
MaQleod

Ad esempio, a causa di vari nodi possono essere normali PC, smartphone e server. Tra i nodi del server dovrebbe funzionare più o meno come gli archivi di griglia tradizionali. Ma su uno smartphone dovrebbe funzionare [quantitativamente] in modo diverso. Anche i nodi offline dovrebbero fare qualcosa di utile, come sostenere l'accesso a dati prio piccoli ma alti (che vengono copiati su tutti i nodi della rete). Lo stoccaggio non dovrebbe essere incentrato sulle prestazioni, ma sull'affidabilità "costruita con mattoni poveri e scarso cemento".
Vi.

Nota: "offline" qui significa "operativo, ma senza rete". In modalità offline il nodo dovrebbe fornire l'accesso alla risorsa che ha localmente e accettare nuovi dati, caricando quei dati sulla rete quando il nodo finalmente lo fa online.
Vi.
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.