Esiste un sistema di archiviazione / SAN distribuito? [chiuso]


9

Come molti altri posti, chiediamo ai nostri utenti di non salvare i file sui loro computer locali. Invece, incoraggiamo che vengano messi su un file server in modo che altri (con le autorizzazioni appropriate) possano usarli e che il backup dei file sia eseguito correttamente.

Il risultato di ciò è che la maggior parte degli utenti ha grandi dischi rigidi che si trovano principalmente vuoti. È il 2010 adesso. Sicuramente esiste un sistema che ti consente di trasformare quello spazio vuoto in una SAN virtuale o in una raccolta documenti?

Quello che immagino è un programma client che viene inviato ai PC degli utenti e che si coordina con un server centrale. Il server assomiglia agli utenti proprio come un normale file server, ma invece di conservare l'intero contenuto dei file, registra semplicemente dove si trovano quei file tra i vari PC dell'utente. Si coordina quindi con i client giusti per soddisfare le richieste di file. Il software client sarebbe in grado di rispondere direttamente a tali richieste, oltre ad essere abbastanza intelligente da memorizzare nella cache i file recenti localmente. Per ridondanza, il server potrebbe assicurarsi che i file vengano copiati su più PC, forse consentendo di definire gruppi in posizioni diverse in modo che un'istanza dell'intero repository risieda in ciascun gruppo per proteggere da un disastro in un edificio eliminando tutto il resto.

Ovviamente non punteresti qui il tuo server di database, ma per cose più semplici vedo diversi vantaggi:

  • I file possono spesso essere trasferiti da un computer più vicino (o locale ).
  • Distribuire la connettività di rete, anziché affollare tutti i trasferimenti di file su una singola connessione
  • Lo spazio su disco cresce automaticamente come fa la tua azienda.
  • Alla fine dovrebbe essere più economico, in quanto non è necessario mantenere un set separato di dischi

Vedo anche alcuni aspetti negativi:

  • Degrado occasionale delle prestazioni del PC dell'utente, se la macchina deve servire o accettare un trasferimento di file di grandi dimensioni durante un periodo di grande affluenza.
  • Le scritture devono essere propagate in rete diverse volte (anche se sospetto che questo non sia davvero un problema, poiché la lettura avviene in molti luoghi più che la scrittura)
  • Serve ancora un modo per inviare occasionalmente una copia completa dei dati fuori sede, e ciò renderebbe molto difficile fare i differenziali

Pensa a questo come a un sistema di archiviazione cloud che vive interamente all'interno della tua LAN aziendale e utilizza le tue apparecchiature utente esistenti.

Il nostro vecchio file server principale è previsto per la pensione tra circa 2 anni e sto cercando di sostituirlo con una piccola SAN. Il nostro file server corrente utilizza circa 400 GB di una condivisione da 1 TB. L'abbiamo ridotto solo perché lo spazio di backup era limitato. Sto cercando di espandermi ad almeno 4 TB di spazio utilizzabile quando viene sostituito, forse molto di più se i prezzi scendono quanto mi aspetto. Sto pensando che qualcosa del genere si adatterebbe meglio. Come scuola, abbiamo un paio di laboratori informatici che posso lasciare in esecuzione, il che sarebbe perfetto per aggiungere un po 'di ridondanza in più a un tale sistema.

Con pochissime eccezioni, i nostri utenti stanno riempiendo meno di 40 GB dei loro dischi rigidi da 120 GB, il che significa che potrei facilmente riservare 65 GB per macchina. E questo aumenterà solo, poiché le nuove macchine stanno arrivando con unità da 250 Gb e anche quelle potrebbero essere facilmente più grandi presto. Al momento della sostituzione del file server, dato il nostro programma di sostituzione del desktop, mi aspetto che un tale sistema consenta 5 TB di spazio di archiviazione utilizzabile, consentendo anche ridondanza e cronologia.

Sfortunatamente, la cosa più vicina che riesco a trovare è Dienst , ed è solo un documento che risale al 1994. Sto solo usando parole d'ordine sbagliate nelle mie ricerche, o non esiste davvero? In caso contrario, c'è un grande svantaggio che mi manca?


1
Invece di acquistare grandi unità magnetiche, è necessario considerare unità a stato solido più piccole invece per i sistemi dell'utente finale.
jftuga,

Potresti voler esaminare CCNx sviluppato da un team attorno a van Jacobson al PARC. Correlati: il progetto SWIFT
the-wabbit il

Risposte:


3

Mi sembra che tu stia descrivendo AFS , la cui implementazione più comune è OpenAFS . I concetti chiave di OpenAFS sono descritti qui: http://docs.openafs.org/UserGuide/ch01.html#HDRWQ3 .

AFS è:

  • Distribuito. File system su più macchine, ma continua a utilizzare uno spazio dei nomi unificato in modo che la natura distribuita sia trasparente per la macchina client.
  • Ridondante. I file possono esistere su più nodi server contemporaneamente, quindi la perdita di più nodi server non comporta inaccessibilità di alcun dato.
  • Scalabile. Apparentemente alcune implementazioni "Enterprise" si estendono fino a 25.000 nodi.

+1 probabilmente non si adatterebbe alle sue specifiche però.
Warner,

Cosa sembra mancare? Ho pensato che sarebbe stato perfetto. O almeno una misura del 90%.
Insyte,

Bene, il fatto che l'esecuzione di un server AFS su Windows non sia supportato potrebbe avere qualcosa a che fare con esso. docs.openafs.org/ReleaseNotesWindows/ch03s11.html
mfinni

Huh. Ciò non coincide con quello che dicono qui: openafs.org/windows.html .
Insyte,

1
questo è per il software client . Desideri che un box Windows si connetta a una condivisione AFS esistente? Fallo. Vuoi ospitare una condivisione AFS su Windows? Non supportato.
mfinni,

2

Sì, i dischi di grandi dimensioni nei sistemi desktop degli utenti finali sono tragicamente inutilizzati quando si utilizza correttamente l'archiviazione centralizzata. Oh bene. Alcuni svantaggi dell'utilizzo di un ipotetico NAS distribuito su rete desktop:

  1. Dovrebbe gestire il degrado causato dalle macchine degli utenti che vanno fuori linea. Qualcuno non è arrivato oggi e la sua macchina è spenta? Spero meglio che i documenti presenti siano distribuiti sulle macchine che sono accese. Qualcuno sta lavorando fino a tardi stasera e la sua macchina è l'unica accesa? Buona fortuna, scusa. A meno che tu non abbia anche tutto copiato su un vero fileserver - e poi, cosa hai guadagnato?

  2. Tutto dovrebbe avere una buona crittografia - altrimenti, i documenti del capo che contengono il suo piano per incassare, o il documento delle risorse umane che mostra lo stipendio di tutti, vengono replicati su Jimmy, la macchina dell'impiegato della posta. Su cui gestisce LimeWire. Vedi dove sta andando?


3
Inoltre: il loro perofrmance fa schifo, la rete non sarà alla massima velocità, la SAN scende nelle ore serali, il che fa schifo per le manutenzioni. Piuttosto sbarazzarsi dei dischi e avviare da SAN;)
TomTom

1

Qualcosa come CleverSafe (ha entrambe le versioni open source e commerciale) può fare principalmente quello che vuoi, ma gestire nodi molto inaffidabili potrebbe essere un problema. CleverSafe gestisce le interruzioni di più nodi, ma forse non abbastanza rapidamente per il tipo di "churn costante" di nodi che vedresti usando i desktop come nodi di archiviazione.

Penso che ci siano soluzioni simili dai documenti accademici che ho letto in passato, ma CleverSafe sembra essere un vero prodotto funzionante e non solo un prototipo. La compagnia esiste dal 2004.


1

Software di virtualizzazione dello storage SANsymphony 7.0

di seguito è tutto citato dal loro sito Web:

Caratteristiche principali

Pooling di dischi virtuali indipendente dal dispositivo, mirroring sincrono (HA), cache ad alta velocità, replica remota asincrona, thin provisioning, auto-tiering, snapshot online, migrazione del disco senza interruzioni, protezione continua dei dati (CDP)

Tipo di accesso

Blocca l'I / O del disco su una SAN fisica o virtuale. L'accesso al file system viene fornito tramite protocolli NFS / CIFS dal sistema operativo Windows Server sottostante. I due metodi di accesso possono essere combinati per soddisfare i requisiti di disponibilità elevata, archiviazione unificata (SAN / NAS).

Ambienti host supportati

Sistemi informatici che eseguono sistemi operativi Windows standard tra cui (Windows Server 2000, 2003, 2008, Hyper-V, Windows XP, Windows 7), UNIX, HP-UX, Sun Solaris, IBM AIX, RedHat Linus, Suse Linux, Apple MacOs, VMware ESX / vSphere, Citrix XenServer,

Dischi supportati (back-end)

Qualsiasi unità interna, unità esterna, array di dischi esterni, JBOD, dischi a stato solido (SSD) e sistema di archiviazione intelligente supportato su Windows Server 2008 può essere collegato ai nodi DataCore. Possono essere collegati direttamente o connessi alla SAN.


È quello che stai cercando, sì?


Non esattamente. Questo software prende ancora il controllo di ogni macchina: devi avere macchine dedicate al 100% allo storage. Mi piacerebbe vedere qualcosa che viene eseguito in background su PC che sono ancora distribuiti con gli utenti finali e sfrutta il disco di riserva che è già disponibile.
Joel Coel,

Rileggendo l'astrazione di archiviazione / metadati, l'ho visto di recente, ma potrebbe essere una misura concettuale piuttosto che pratica: xtreemfs.org/feature_replication.php
Mark Lawrence

Naturalmente, l'altra cosa che vale la pena guardare se non l'hai già fatta è Windows DFS-R. Con questo, si imposta uno spazio dei nomi di cartelle a cui si accede e replicato in modo trasparente tramite la replica di Active Directory. Le cartelle dello spazio dei nomi hanno obiettivi su condivisioni fisiche e possono essere replicate utilizzando la topologia di tua scelta (ad esempio hub e speak o free-for-all). Uh oh c'è un problema, penso che gli obiettivi debbano essere in esecuzione Windows Server.
Mark Lawrence,

0

La cosa più vicina che mi viene in mente è Googles MapReduce o l'alternativa gratuita a Hadoop, ma è progettata per adattarsi all'area petabyte per app Web davvero grandi.

In generale, il tuo scenario non è qualcosa che mi piacerebbe davvero provare poiché immagino che il sovraccarico amministrativo per la gestione delle macchine per questo servizio aggiunto supererà di gran lunga qualsiasi vantaggio che potresti trarne.

Inoltre, vedrei un certo rischio che potrebbero esserci problemi non rilevati in Windows (o in qualsiasi altro sistema operativo) che potrebbero portare a una vulnerabilità per un worm a diffusione rapida che potrebbe far fuori tutta la tua rete in pochi minuti, indipendentemente da come buoni e sicuri i tuoi sistemi sono configurati e che porteranno con te tutti i tuoi pool di archiviazione dati.

Inoltre, non sono sicuro che le capacità del disco libero sui sistemi client continueranno a crescere, poiché suppongo che molte altre applicazioni verranno portate sul Web in futuro, tra cui cose come applicazioni per ufficio e persino Photoshop, che porteranno a una grande spinta per i thin client (di nuovo).

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.