Come costruire una rete locale veloce


35

Lavoro nella produzione cinematografica e ho bisogno di un accesso MOLTO veloce a file di metraggio grezzo molto grandi. Attualmente sto usando docks eSATA da 6 Gbps per dischi rigidi interni, che vanno veloci come l'unità.

Se dovessi usare un server e connettermi alle mie stazioni di lavoro via rete, quale tecnologia (relativamente economica) mi permetterebbe di avvicinarmi o di superare la velocità dell'unità?


12
Al giorno d'oggi, la rete Ethernet da 10 Gbps è decisamente in linea con il prezzo "abbordabile". Tuttavia, una SAN a 8 o 16 Gbps (storage area network - aka fiberchannel) potrebbe essere più adatta a un uso particolare?
Ecnerwal

3
È specificamente progettato / ottimizzato per le reti di archiviazione.
Ecnerwal

3
Voglio solo controllare - stai usando SSD? In caso contrario, si tratta di un aggiornamento essenziale.
trpt4him

1
Non vedo alcun valore aggiunto di una SAN rispetto a un NAS più semplice ed economico qui.
jiggunjer

3
Per rispondere correttamente, sono necessarie ulteriori informazioni: quale quantità di dati deve essere archiviata, quanti utenti simultanei, da dove sono accessibili i dati (che tipo di macchina)? Una rete da 100 Gb non sarà di aiuto se si accede da una macchina da 2 o 3 con adattatore di rete da 1 Gb.
JFL

Risposte:


31

Qui all'inizio del 2017, a giudicare dalle informazioni prontamente disponibili online, sembra che gli HDD SATA più veloci abbiano una velocità massima di circa 220 MegaByte / sec, ovvero 1.760 Gigabit / sec.

Quindi, se stai solo cercando di battere la velocità di una singola unità e sei limitato agli HDD per considerazioni sul costo per terabyte per file video di grandi dimensioni, allora 10 Gigabit Ethernet sono molti.


Inoltre, nota che anche Thunderbolt Networking è 10 Gigabit / sec, quindi se disponi già di porte Thunderbolt, puoi sperimentarlo. Si potrebbe presumibilmente battere le tue porte eSATA 3 a 6 Gigabit, anche se non ne sono sicuro perché eSATA è molto specifico per lo storage, mentre fare l'archiviazione su Ethernet ha più sovraccarico. Si noti inoltre che Thunderbolt è un bus desktop; raggiunge solo pochi metri, non i 100m che 10 Gigabit Ethernet è in grado di gestire. Quindi, sebbene Thunderbolt possa essere interessante per la sperimentazione e la prototipazione mentre soppesate le vostre opzioni, probabilmente non è la soluzione a lungo termine giusta per voi a meno che non vogliate mantenere tutte le stazioni di lavoro e i dischi collegati back-to-back attorno a un grande tavolo.


Quindi questo era per singoli HDD. Ma se RAID queste unità insieme in modo che ogni lettura o scrittura venga distribuita su più unità, è possibile ottenere prestazioni molto migliori rispetto alle prestazioni della singola unità. Inoltre, a seconda del budget, è possibile inserire SSD PCIe / M.2 NVME in un PC per fungere da server / NAS e ottenere prestazioni di archiviazione incredibilmente elevate (circa 3,4 GigaByte / sec == 27 gigabit / sec) per guidare.

In tal caso, potresti voler guardare qualcosa di più veloce di 10 Gigabit Ethernet, ma guardandoti intorno online, sembra che i prezzi salgano piuttosto drammaticamente oltre 10 Gigabit Ethernet. Quindi potresti voler esaminare l'aggregazione dei collegamenti tra più collegamenti 10Gigabit. Ho anche visto alcuni aneddoti online che utilizzavano apparecchiature di rete, come roba usata InfiniBand a 40 Gbps, possono essere acquistati su eBay per sporcizia a buon mercato, se non ti dispiace le seccature che derivano dall'acquisto di attrezzature usate su eBay.


1
Che dire di più schede NIC da 10 Gbit + bonding?
André Borie

2
il legame consente a flussi separati di utilizzare collegamenti fisici diversi, ma un flusso singolo utilizzerà solo una scheda di rete. Pertanto, ciò sarà utile quando più file vengono offerti contemporaneamente a persone diverse, ma non aumenterà la larghezza di banda per l'accesso a un singolo file.
JFL

4
@JohnU No, Ethernet è efficiente al 94% con frame standard da 1500 byte e ancora meglio con frame jumbo. Vedo regolarmente 930+ Mbps di throughput senza nemmeno provarci. Gigabit Ethernet non consente hub, solo switch, quindi è sempre full duplex e quindi non ha mai collisioni.
Spiff

1
@JFL Ethernet bonding (aggregazione di collegamenti IEEE 802.3ad) distribuisce il carico pacchetto per pacchetto, non per flusso. Poiché le tecnologie di rete sono generalmente progettate in livelli discreti, Ethernet (livello 2, livello di collegamento dati) non ha idea dei protocolli sopra di esso come IP o TCP, quindi non ha idea dei flussi.
Spiff

2
@JFL L'aggregazione Linux può certamente usare alcune informazioni layer3 + (Linux può fare molte cose insolite), per favore ricorda che hai davvero bisogno di entrambe le parti per supportare lo stesso metodo di legame per essere utile. Se ti stai collegando a uno switch, puoi davvero utilizzare ciò che supporta lo switch.
Zoredache l'

5

Se ti attacchi ai dischi SATA, l'implementazione di una Ethernet da 10 Gb e la creazione di un RAID10 di dimensioni ragionevoli sul server genereranno un notevole aumento delle prestazioni oltre a quello di un singolo disco SATA. Questo sarà un investimento degno perché puoi condividere il server tra tutte le workstation di cui hai bisogno e aggiungere in futuro aggiungendo switch. Dovrai utilizzare il cavo Ethernet Cat-6, poiché Cat-5E non lo taglierà, non dimenticare di aggiungere questa spesa ai tuoi calcoli. È inoltre possibile aggiungere SSD come cache per accelerare ulteriormente il sistema; dal momento che stai lavorando con i filmati, suppongo che tu abbia bisogno di grandi quantità di spazio di archiviazione, che sarebbe estremamente costoso da costruire esclusivamente con SSD.

È possibile acquistare un server rackmount preinstallato da Dell o HP e utilizzare la scheda RAID hardware o, se si è più di una persona hardware, è possibile acquistare uno chassis più economico da Supermicro e costruire autonomamente la macchina di archiviazione, utilizzando il software RAID in Windows o Linux. L'hardware RAID è spesso più veloce quando è coinvolto un RAID1, poiché il software deve scrivere su ogni disco a sua volta e attendere il completamento della scrittura prima di passare all'operazione successiva; una scheda RAID può generalmente scrivere su entrambi i dischi in parallelo e memorizzare l'operazione di scrittura nella cache, restituendo immediatamente il controllo al sistema operativo. Si noti, tuttavia, che sebbene un RAID0 sia ancora più veloce, non si ha ridondanza e un singolo guasto dell'unità causerà la perdita completa dei dati; non usare mai un RAID0 quando si hanno dati che si desidera conservare.

Nella fascia più alta della scala hai Storage Network Networks (SAN) ma questi sono progettati per consentire molte operazioni da un gran numero di client separati in parallelo; un vantaggio di ciò è che il throughput è molto elevato per un piccolo numero di macchine connesse, ma è probabilmente eccessivo per le vostre esigenze e molto costoso. Nella fascia bassa, hai dispositivi Network Attached Storage (NAS) che altri hanno menzionato, ma sebbene molto più semplici di un server completo, non li raccomando poiché un NAS è spesso una scatola nera; sono progettati per essere plug & play per la maggior parte degli utenti e, di conseguenza, hai un controllo limitato sul sistema operativo: ho appena dovuto rispedire un piccolo NAS che ho acquistato per l'ufficio di un cliente che è diventato instabile dopo un giorno di utilizzo.

Un altro vantaggio nella costruzione di un server è che stai concentrando tutte le tue riprese in un unico posto, il che rende pratico e relativamente facile eseguirne il backup regolarmente. Non trascurare mai la tua strategia di backup; un giorno dovrai dipendere da questo!


3
"il software deve scrivere su ogni disco a sua volta e attendere il completamento della scrittura prima di passare all'operazione successiva". Questo non è stato vero per diversi decenni; anche i dischi non server al giorno d'oggi supportano l'accodamento dei comandi. E a rigor di termini, anche con il software DMA non è stato necessario attendere. È supportato nei desktop dal 1998 circa.
Salterio

Probabilmente vale la pena notare che mentre la tua prima frase è vera per un singolo utente, la larghezza di banda condivisa da 10 GB significa che con più utenti che tentano di accedere alla condivisione contemporaneamente la larghezza di banda che ognuno ottiene scenderà al di sotto dei livelli SATA di un singolo utente.
Dan Neely,

2
un NAS non è un dispositivo speciale per definizione, puoi avere un normale PC Linux con samba o NFS e chiamarlo NAS. La differenza fondamentale è la condivisione a livello di file rispetto alla condivisione a livello di blocco. Un dispositivo a blocchi può essere utilizzato da un solo client alla volta. Inoltre le SAN sono più costose e richiedono più tempo / più conoscenza per la configurazione.
jiggunjer,

@jiggunjer È vero, ma la maggior parte di chi costruirà un PC con Samba lo chiamerebbe un file server, non un NAS. Sto solo giocando sul tecnicismo per indicare il dispositivo speciale. Molto vero anche per le SAN, motivo per cui le ho classificate come eccessive.
Gargravarr

@DanNe sì, man mano che vengono aggiunti più client con accesso simultaneo, la velocità di ciascuna workstation diminuirà, ma la velocità totale dei dati che escono dal server dovrebbe rimanere molto alta. L'aumento con la cache SSD potrebbe compensare la maggior parte di questo.
Gargravarr

3

Nulla batte la flessibilità e la facilità di configurazione di 10gbe, ma SAS è sorprendentemente collegabile da sola:

Per un numero limitato di workstation (n <8) in cui i volumi non devono essere scrivibili da più computer contemporaneamente, SAS funziona alla grande. Con un Tyan JBOD ($ 1.500) e un LSI HBA ($ 400), otteniamo 3.400 MB / s (27 Gbps) trasferimenti sostenuti su SSD. JBOD ha uno switch interno con 3 uplink agli HBA, ma gli switch SAS sono disponibili per un numero di porte superiore.

Ecco un test di velocità di uno dei nostri volumi:

CDM5 mostra 2.862 MB / s in lettura sequenziale con 32 iops in coda.  4k lettura casuale a thread singolo 29 MB / s

Internamente, utilizziamo questa soluzione con Windows Server in cluster con spazi di archiviazione distribuiti ai client con 10 gbe.

Server Windows in cluster


2

https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593- -Product

Innanzitutto, l'SSD M.2 che ha fornito la scheda madre corretta può raggiungere 2 gb-4 gb / s, e possibilmente più in alto. RAID alcuni di questi insieme e le tue velocità sono ancora più elevate.

La collaborazione di più schede di rete da 10 GB potrebbe avvicinarti alle velocità native.

Qualcosa di più di 10 g è molto più denaro.

40 gigabit NIC https://www.serversupply.com/products/part_search/pid_lookup.asp?pid=263133&gclid=Cj0KEQiA9P7FBRCtoO33_LGUtPQBEiQAU_tBgIU2jZQqpq


Andare al di sopra di 10 GB è anche probabile che metta sulla scena la velocità del bus locale come fattore limitante :) Uno slot PCI-Express 2.0 x16 è teoricamente 64 GBit / s - ma sovraccarico su tutti i lati (bus in memoria, software driver in memoria, carico cpu ...) lo rosiccherà abbastanza vicino a dove puoi essere contento se il tuo 10 GBe corre alla velocità della linea ...
rackandboneman

2
@rackandboneman: ecco perché hai una scheda di rete intelligente. La Ethernet da 10 Gb / s è la velocità pura. Le intestazioni Ethernet, IP e TCP possono essere gestite dalla NIC, lasciando che la CPU gestisca solo i dati reali.
Saluti

SE questi meccanismi di offload funzionano in combinazione con il tuo scenario applicativo - e mentre riducono l'utilizzo della CPU, non ridurranno il volume di dati in modo significativo A meno che gran parte di quel traffico non sia spazzatura in primo luogo ...
rackandboneman

@rackandboneman PCIe 3.0 x16 esiste quindi le velocità possono essere il doppio.
cybernard

10gbe possono essere molto più economici di così: Mellanox nic per $ 180 e 25gbe si avvicina a Mellanox 25gbe per $ 300 . Ciò che ti uccide è il costo delle porte sugli switch, ma eBay o una mesh completa risolvono il problema.
Mitch

0

Utilizzare una scheda Ethernet in fibra con un interruttore in fibra, idealmente multimodale o modalità singola con pad. Se hai il budget puoi fare tutto da 10 gbps, se usi l'aggregazione dei link con una scheda a doppia porta in fibra puoi ottenere 20 gbps. Poiché il termine "relativamente abbordabile" cambia a seconda del budget, i numeri effettivi su ciò che sei disposto a spendere sarebbero utili.


0

Il modo più economico sarebbe utilizzare l'aggregazione dei collegamenti (cavi IE run N, in genere 2) anziché uno.

In questo modo un collegamento sporco da 1 Gb diventerà un collegamento da 2 Gb.

Ovviamente significa che sono necessarie almeno 4 porte per un singolo server client.


e il client ha bisogno di 2 porte ... Gli switch semplici funzionano con questo? o dovrebbe essere un collegamento diretto?
jiggunjer,

@jiggunjer semplice switch può essere utilizzato per questo, ma è necessaria una configurazione speciale su tutti i computer / server che utilizzano questo schema
Antzi

questa aggregazione è la stessa del legame menzionato nei commenti della risposta di @Spiff? Nel qual caso la larghezza di banda non viene aumentata per l'accesso a file singolo ...
jiggunjer

@jiggunjer Questo dipende dal modo in cui esegui l'installazione, quindi non posso davvero rispondere.
Antzi

1
@FlorianCastellane l'ultimo a buon mercato che ho comprato non lo era. Dipende dalle specifiche
Antzi
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.