Come costruire una rete locale veloce

Lavoro nella produzione cinematografica e ho bisogno di un accesso MOLTO veloce a file di metraggio grezzo molto grandi. Attualmente sto usando docks eSATA da 6 Gbps per dischi rigidi interni, che vanno veloci come l'unità.

Se dovessi usare un server e connettermi alle mie stazioni di lavoro via rete, quale tecnologia (relativamente economica) mi permetterebbe di avvicinarmi o di superare la velocità dell'unità?

Qui all'inizio del 2017, a giudicare dalle informazioni prontamente disponibili online, sembra che gli HDD SATA più veloci abbiano una velocità massima di circa 220 MegaByte / sec, ovvero 1.760 Gigabit / sec.

Quindi, se stai solo cercando di battere la velocità di una singola unità e sei limitato agli HDD per considerazioni sul costo per terabyte per file video di grandi dimensioni, allora 10 Gigabit Ethernet sono molti.

Inoltre, nota che anche Thunderbolt Networking è 10 Gigabit / sec, quindi se disponi già di porte Thunderbolt, puoi sperimentarlo. Si potrebbe presumibilmente battere le tue porte eSATA 3 a 6 Gigabit, anche se non ne sono sicuro perché eSATA è molto specifico per lo storage, mentre fare l'archiviazione su Ethernet ha più sovraccarico. Si noti inoltre che Thunderbolt è un bus desktop; raggiunge solo pochi metri, non i 100m che 10 Gigabit Ethernet è in grado di gestire. Quindi, sebbene Thunderbolt possa essere interessante per la sperimentazione e la prototipazione mentre soppesate le vostre opzioni, probabilmente non è la soluzione a lungo termine giusta per voi a meno che non vogliate mantenere tutte le stazioni di lavoro e i dischi collegati back-to-back attorno a un grande tavolo.

Quindi questo era per singoli HDD. Ma se RAID queste unità insieme in modo che ogni lettura o scrittura venga distribuita su più unità, è possibile ottenere prestazioni molto migliori rispetto alle prestazioni della singola unità. Inoltre, a seconda del budget, è possibile inserire SSD PCIe / M.2 NVME in un PC per fungere da server / NAS e ottenere prestazioni di archiviazione incredibilmente elevate (circa 3,4 GigaByte / sec == 27 gigabit / sec) per guidare.

In tal caso, potresti voler guardare qualcosa di più veloce di 10 Gigabit Ethernet, ma guardandoti intorno online, sembra che i prezzi salgano piuttosto drammaticamente oltre 10 Gigabit Ethernet. Quindi potresti voler esaminare l'aggregazione dei collegamenti tra più collegamenti 10Gigabit. Ho anche visto alcuni aneddoti online che utilizzavano apparecchiature di rete, come roba usata InfiniBand a 40 Gbps, possono essere acquistati su eBay per sporcizia a buon mercato, se non ti dispiace le seccature che derivano dall'acquisto di attrezzature usate su eBay.

Se ti attacchi ai dischi SATA, l'implementazione di una Ethernet da 10 Gb e la creazione di un RAID10 di dimensioni ragionevoli sul server genereranno un notevole aumento delle prestazioni oltre a quello di un singolo disco SATA. Questo sarà un investimento degno perché puoi condividere il server tra tutte le workstation di cui hai bisogno e aggiungere in futuro aggiungendo switch. Dovrai utilizzare il cavo Ethernet Cat-6, poiché Cat-5E non lo taglierà, non dimenticare di aggiungere questa spesa ai tuoi calcoli. È inoltre possibile aggiungere SSD come cache per accelerare ulteriormente il sistema; dal momento che stai lavorando con i filmati, suppongo che tu abbia bisogno di grandi quantità di spazio di archiviazione, che sarebbe estremamente costoso da costruire esclusivamente con SSD.

È possibile acquistare un server rackmount preinstallato da Dell o HP e utilizzare la scheda RAID hardware o, se si è più di una persona hardware, è possibile acquistare uno chassis più economico da Supermicro e costruire autonomamente la macchina di archiviazione, utilizzando il software RAID in Windows o Linux. L'hardware RAID è spesso più veloce quando è coinvolto un RAID1, poiché il software deve scrivere su ogni disco a sua volta e attendere il completamento della scrittura prima di passare all'operazione successiva; una scheda RAID può generalmente scrivere su entrambi i dischi in parallelo e memorizzare l'operazione di scrittura nella cache, restituendo immediatamente il controllo al sistema operativo. Si noti, tuttavia, che sebbene un RAID0 sia ancora più veloce, non si ha ridondanza e un singolo guasto dell'unità causerà la perdita completa dei dati; non usare mai un RAID0 quando si hanno dati che si desidera conservare.

Nella fascia più alta della scala hai Storage Network Networks (SAN) ma questi sono progettati per consentire molte operazioni da un gran numero di client separati in parallelo; un vantaggio di ciò è che il throughput è molto elevato per un piccolo numero di macchine connesse, ma è probabilmente eccessivo per le vostre esigenze e molto costoso. Nella fascia bassa, hai dispositivi Network Attached Storage (NAS) che altri hanno menzionato, ma sebbene molto più semplici di un server completo, non li raccomando poiché un NAS è spesso una scatola nera; sono progettati per essere plug & play per la maggior parte degli utenti e, di conseguenza, hai un controllo limitato sul sistema operativo: ho appena dovuto rispedire un piccolo NAS che ho acquistato per l'ufficio di un cliente che è diventato instabile dopo un giorno di utilizzo.

Un altro vantaggio nella costruzione di un server è che stai concentrando tutte le tue riprese in un unico posto, il che rende pratico e relativamente facile eseguirne il backup regolarmente. Non trascurare mai la tua strategia di backup; un giorno dovrai dipendere da questo!

Nulla batte la flessibilità e la facilità di configurazione di 10gbe, ma SAS è sorprendentemente collegabile da sola:

Per un numero limitato di workstation (n <8) in cui i volumi non devono essere scrivibili da più computer contemporaneamente, SAS funziona alla grande. Con un Tyan JBOD ($ 1.500) e un LSI HBA ($ 400), otteniamo 3.400 MB / s (27 Gbps) trasferimenti sostenuti su SSD. JBOD ha uno switch interno con 3 uplink agli HBA, ma gli switch SAS sono disponibili per un numero di porte superiore.

Ecco un test di velocità di uno dei nostri volumi:

Internamente, utilizziamo questa soluzione con Windows Server in cluster con spazi di archiviazione distribuiti ai client con 10 gbe.

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Innanzitutto, l'SSD M.2 che ha fornito la scheda madre corretta può raggiungere 2 gb-4 gb / s, e possibilmente più in alto. RAID alcuni di questi insieme e le tue velocità sono ancora più elevate.

La collaborazione di più schede di rete da 10 GB potrebbe avvicinarti alle velocità native.

Qualcosa di più di 10 g è molto più denaro.

40 gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZQqpq

Utilizzare una scheda Ethernet in fibra con un interruttore in fibra, idealmente multimodale o modalità singola con pad. Se hai il budget puoi fare tutto da 10 gbps, se usi l'aggregazione dei link con una scheda a doppia porta in fibra puoi ottenere 20 gbps. Poiché il termine "relativamente abbordabile" cambia a seconda del budget, i numeri effettivi su ciò che sei disposto a spendere sarebbero utili.

Il modo più economico sarebbe utilizzare l'aggregazione dei collegamenti (cavi IE run N, in genere 2) anziché uno.

In questo modo un collegamento sporco da 1 Gb diventerà un collegamento da 2 Gb.

Ovviamente significa che sono necessarie almeno 4 porte per un singolo server client.