Perché lo storage aziendale è così costoso?

Questa è una domanda canonica sul costo dello storage aziendale.
Vedi anche la seguente domanda:

• Qual è il modo migliore per spiegare i problemi di archiviazione a sviluppatori e altri utenti

Per quanto riguarda domande generali come:

• Perché devo pagare 50 dollari al mese per ogni gigabyte di spazio di archiviazione?
• Il nostro file server è sempre a corto di spazio, perché il nostro amministratore di sistema non getta solo un'unità extra da 1 TB?
• Perché le apparecchiature SAN sono così costose?

Le risposte qui tenteranno di fornire una migliore comprensione del funzionamento dello storage a livello aziendale e di ciò che influenza il prezzo. Se è possibile espandere la domanda o fornire informazioni sulla risposta, si prega di pubblicare.

1. Le capacità del disco rigido del server sono minuscole rispetto alle capacità del disco rigido desktop. 450 e 600 GB non sono dimensioni insolite da vedere nei nuovi server e potresti acquistare molte unità desktop SATA da 4 TB al prezzo di un disco rigido SAS (server) da 600 GB.

2. Il tuo disco rigido SATA nel tuo PC desktop a casa è come un muscle car di Ford, GM o Mercedes o qualsiasi altro produttore di auto per le persone di tutti i giorni (V8 o V12 di grande capacità, 5 o 6 litri). Poiché devono essere guidati da persone che non dispongono di una licenza da corsa o che capiscono come funziona un motore a combustione interna, hanno tolleranze molto elevate. Hanno limitatori di giri, sono progettati per funzionare con qualsiasi olio di un certo livello, hanno intervalli di manutenzione a circa 10.000 km di distanza, ma se perdi un intervallo di manutenzione di alcune settimane non ti esploderà in faccia. Non prendono fuoco quando percorri lunghe distanze.

   L'unità SAS in un server è più simile a un motore di Formula 1. Sono davvero piccoli (2,4 litri) ma hanno una potenza immensa grazie alle loro minime tolleranze. Girano più in alto e spesso non hanno un limitatore di giri (il che significa che subiscono gravi danni se guidati in modo errato) e se perdi un intervallo di manutenzione (che è ogni poche ore ) esplodono.

   Stai sostanzialmente confrontando gesso e formaggio. I numeri e una suddivisione completa sono discussi nel white paper Intel di classe Enterprise rispetto ai dischi rigidi di classe desktop

3. Parliamo di alcuni numeri difficili qui. Supponiamo che tu richieda 1 MB di dati aggiuntivi (un bel numero circolare). Quanti dati sono davvero ? Bene, i tuoi 1 MB di dati andranno in un array RAID. Diciamo che sono al sicuro e lo trasformano in RAID1. Il tuo 1MB di dati è speculare, quindi in realtà sono 2MB di dati.

   Supponiamo che i tuoi dati siano all'interno di una SAN. In caso di errore del nodo SAN, i dati vengono sincronizzati a livello di byte con un secondo nodo SAN. Quindi è duplicato e i tuoi 2 MB di dati ora sono 4 MB.

   Ti aspetti che il tuo fornitore mantenga i backup in loco, in modo che i tuoi dati possano essere ripristinati in caso di emergenza non catastrofica? Qualsiasi fornitore decente ti fornirà almeno 1 backup in loco, forse di più. Supponiamo che facciano istantanee una volta alla settimana per tre settimane sul posto. Si tratta di un extra di 3 MB di dati, quindi ora sei fino a 7 MB.

   Se c'è un disastro critico, è meglio che il tuo provider ne mantenga una copia fuori sede da qualche parte. Anche se ha un mese, dovrebbe esistere. Quindi ora hai fino a 8 MB.

   Se si tratta di un provider di alto livello, potrebbe persino avere un sito di ripristino di emergenza sincronizzato in tempo reale. Anche questi dischi saranno RAID, quindi sono 2 MB in più e quindi hai fino a 10 MB di dati.

   Alla fine dovrai trasferire quei dati. Che cosa? Trasferirlo? Sì, il trasferimento dei dati costa denaro. Costa quando lo scarichi, lo accedi su Internet, costa anche denaro per il backup (qualcuno deve prendere quei nastri fuori dall'ufficio e potrebbe essere che 1 MB di dati significhi che devono acquistare un extra set di nastri e trasferirli da qualche parte).

4. Quando l'unità domestica SATA si guasta, è possibile chiamare il supporto tecnico e convincerli che l'unità è morta. Quindi inviare l'unità al produttore (il più presto possibile). Aspetta una settimana Ottieni un'unità sostitutiva e devi reinstallarla (quasi certamente non è sostituibile a caldo o già in una slitta).

   Quando l'unità SAS si guasta, si chiama il supporto tecnico. Quasi mai mettono in dubbio la tua opinione secondo cui l'unità deve essere sostituita immediatamente e rilascia una nuova unità; di solito la nuova unità viene consegnata più tardi lo stesso giorno, altrimenti anche il giorno successivo è molto comune. Comunemente il produttore invierà un rappresentante per installare effettivamente l'unità se non si sa come (molto utile se si prevede di andare in vacanza e se è necessario che le cose continuino a funzionare mentre si è assenti).

5. Le unità aziendali hanno tolleranze strette, vedere il n. 2 sopra e tendono a durare circa 10 volte più a lungo delle unità di livello consumer (MTBF). Le unità aziendali quasi sempre supportano il rilevamento avanzato di errori e guasti, che un rapporto di Google ha riscontrato funziona circa il 40% delle volte, ma è qualcosa che chiunque preferirebbe a un computer che muore improvvisamente.

   Quando hai una singola unità nel tuo computer di casa, le sue possibilità statistiche di guasto sono semplicemente quelle dell'unità. Le unità erano classificate in MTBF (dove le unità SAS godono ancora di valutazioni superiori del 50% o più), ora è più comune vedere i tassi di errore. Un tipico disco SAS ha da 10 a 1.000 volte meno probabilità di avere un errore irrecuperabile (con 100 volte il più comune che ho trovato di recente). (tassi di errore secondo la documentazione del produttore fornita da Seagate, Western Digital e Hitachi; nessun pregiudizio previsto; declinare espressamente il risarcimento).

   Le percentuali di errore sono particolarmente importanti non quando si verifica un errore irreversibile su un'unità, ma quando un'altra unità nello stesso array si guasta e non si fa affidamento su tutte le unità in un array per essere leggibili al fine di ripristinare il disco guasto.

6. SAS è un derivato di SCSI, che è un protocollo di archiviazione. SATA si basa su ATA, che a sua volta si basa sul bus ISA (quel bus a 8/16 bit nei computer dell'era dei dinosauri). Il protocollo di archiviazione SCSI ha comandi più estesi per ottimizzare il modo in cui i dati vengono trasferiti dalle unità ai controller e viceversa. Questo aumento dell'efficienza renderebbe un'unità SAS altrimenti uguale intrinsecamente più veloce, specialmente con carichi di lavoro estremi, rispetto a un'unità SATA; aumenta anche il costo.

7. Ci sono meno unità SAS prodotte, le economie di scala impongono che saranno più costose a parità di altre condizioni.

8. Le unità SAS vengono generalmente con velocità di rotazione 10k o 15k; mentre SATA in genere arriva in 5,4k o 7,2k. Le unità SAS, in particolare le dimensioni di 2,5 "che stanno diventando sempre più popolari, hanno tempi di ricerca più rapidi. Le due combinazioni aumentano notevolmente gli IOps che un'unità può eseguire, in genere un'unità SAS è ~ 3 volte più veloce. Quando più utenti richiedono dati disparati, gli IOps la capacità dell'unità / array diventa un indicatore di prestazioni critico.

9. Le unità in un data center sono in genere sempre accese. Gli studi hanno scoperto che il guasto del convertitore di frequenza è influenzato dal numero di cicli di riscaldamento / raffreddamento che attraversa (dalla modalità di funzionamento a quella di spegnimento). Mantenerli sempre in funzione aumenta la durata dell'unità. La conseguenza di ciò è che le unità consumano elettricità. Questa elettricità deve essere fornita da qualcosa (nel caso di un grande DC i soli azionamenti potrebbero richiedere più energia di un piccolo quartiere di case). Devono anche dissipare quel calore da qualche parte, richiedendo sistemi di raffreddamento (che a loro volta richiedono più energia per funzionare).

10. Costi di infrastruttura e di personale. Quelle unità sono in unità NAS o SAN di fascia alta. Quelle unità sono costose, anche senza le costose unità in esse contenute. Richiedono personale costoso per dispiegarli e mantenerli. Gli edifici in cui si trovano queste unità NAS e SAN sono costosi da gestire (vedi il punto sul raffreddamento, sopra, ma c'è molto altro da fare lì.) Il software di backup non è in genere gratuito (né lo sono le licenze per cose come il mirroring) e anche il personale incaricato di distribuire e gestire i backup è costoso. Il costo del noleggio della consegna e dell'archiviazione su nastro fuori sede è solo una delle molte altre cose che iniziano ad accumularsi quando è necessario più spazio di archiviazione.

Tenendo presente che la capacità delle unità potrebbe essere 1/10 della dimensione di un'unità desktop e cinque volte il prezzo, 1 MB di dati è in realtà 10 e tutte le altre differenze, non è possibile trarre alcun significato conclusioni tra il prezzo dell'archiviazione desktop e il prezzo dell'archiviazione a livello aziendale.

Non lo sto aggiungendo alla prima risposta in CW principalmente perché è una differenza di opinione. Sentiti libero di unire / modificare questo se lo desideri.

Spesso, il motivo per cui lo storage "a livello aziendale" è così costoso potrebbe essere che il richiedente non capisce il requisito, ma a volte anche l'amministratore di sistema non capisce il requisito, non può comunicare il requisito a qualcuno con l'autorità di acquisto o sta semplicemente ottenendo ignorato da detta autorità.

Gli array di archiviazione disponibili ad alte prestazioni, altamente disponibili e con poca manutenzione sono costosi . Parte del lavoro di un progettista di sistemi è sapere dove sono appropriati e dove è appropriato un design diverso.

Non penso che i costi relativi di diversi tipi di unità disco siano effettivamente rilevanti per nessuna delle domande di esempio.

Perché devo pagare 50 dollari al mese per ogni gigabyte di spazio di archiviazione?

Questo è chiaramente indirizzato a un fornitore di servizi di qualche tipo. Le due possibili risposte alla mia mente sono:

1. Hai 5 nove tempi di attività, supporto 24/7, a Manhattan / Londra / Hong Kong. I piatti rotanti sono solo una piccola parte della pila che stai pagando.

2. Stai pagando troppo. Negoziare, cambiare fornitore o portarlo a casa.

Il nostro file server è sempre a corto di spazio, perché il nostro amministratore di sistema non getta solo un'unità extra da 1 TB?

Questo è quasi certamente un cattivo design (e probabilmente per motivi politici). I dati su quel file server rientrano da qualche parte in questo spettro:

• Vale la pena archiviare i dati su un'installazione ad alte prestazioni, altamente disponibile e ad alto costo. I tempi di inattività causati dall'esaurimento dello spazio influiscono sull'elevata disponibilità ed è un errore di progettazione o pianificazione.

• I dati non sono importanti oppure sono accettabili prestazioni lente o tempi di inattività più lunghi. Sono accettabili dischi economici e soluzioni di backup economiche. I tempi di inattività regolari a causa della mancanza di spazio su disco sembrano ancora uno strano compromesso, poiché la maggior parte dei costi in questo caso sarà probabilmente il tuo tempo di amministratore di sistema e, a lungo termine, passeranno più tempo a risolvere il problema del disco basso spazio.

Si noti che ho detto che questo è uno spettro e che la maggior parte dei requisiti si colloca tra i due.

Il costo di produzione di qualsiasi articolo è direttamente collegato al volume di unità che venderà in un ciclo di feedback.

Nel caso di un disco rigido convenzionale, con vetro arrugginito e componenti elettronici, esiste potenzialmente una grande variazione nel costo dei componenti meccanici ed elettronici - tuttavia sono emerse 2 chiare fasce di prezzo / qualità - Enterprise e Commodity.

Tuttavia, il ridotto volume delle vendite di un'unità aziendale ha un pesante impatto su ciò che ottieni per i tuoi soldi - qualcosa che costa sette volte tanto non sarà sette volte migliore.

Le unità aziendali (per una determinata capacità) sono leggermente più veloci delle unità di merce, ad esempio confrontando le unità Seagate Barracuda SATA (merce) e Cheetah SAS (impresa):

model            Barracuda            Cheetah
capacity(Gb)     500                  450
sustained data   125                  168
   rate (Mb/s)
cache(Mb)        16                   64
annual failure   <1%                  0.44%
   rate
Price GBP        42                   275
Price USD        67                   440

Ma in un contesto aziendale, nessun amministratore di sistema sano memorizzerebbe mai dati importanti su una singola unità: l'uso di più unità fornisce maggiore affidabilità e larghezza di banda e riduce efficacemente la latenza; quattro delle unità Barracuda configurate come RAID10 saranno molto più veloci della singola unità Cheetah, con un rischio molto minore di perdita di dati a circa il 60% del prezzo.

Certamente otterrai una migliore garanzia con l'unità Enterprise e il fornitore sarà in genere in grado di ottenerne uno lo stesso giorno - ma probabilmente sarai in grado di procurarti un'unità di merce da un fornitore locale più velocemente di quanto il tuo fornitore possa fare corriere fuori il disco sostitutivo. D'altro canto, è più probabile che il disco aziendale sostituisca esattamente l'unità guasta.

Quindi forse ottieni molta più affidabilità dalle unità aziendali? Mentre le persone che realizzano e vendono i dischi spesso dicono che è così (Seagate è piuttosto schivo in merito sul loro sito Web, ma anche i numeri offuscati che pubblicano mostrano che è meno di un fattore 2). Studi indipendenti suggeriscono che non ci sono differenze significative .

Il set di comandi SCSI presenta alcuni vantaggi tecnici rispetto al set di comandi ATA - in particolare per quanto riguarda il consentire al sistema operativo di sapere esattamente cosa è stato impegnato sul disco - tuttavia, ciò fa ancora una differenza efficace in termini di prestazioni e affidabilità di un filesystem implementato su un singolo disco.

Se il tuo fornitore di servizi gestisce una SAN Fibre Channel, il costo per Gigabyte di spazio di archiviazione sarà almeno 8 volte superiore rispetto all'acquisto di un disco dallo scaffale nel negozio di ferramenta più vicino. Ma ci sono altri approcci che possono ridurre significativamente i costi.

Si noti che questo non sarà mai più economico rispetto all'acquisto di un disco standard, in quanto si paga anche per ridondanza, alimentazione, aria condizionata e supporto, ma questi costi dovrebbero essere piccoli rispetto al costo della fornitura di archiviazione.

Concordo con gli altri post sulla qualità di ciò che offre una società di hosting. Ma recentemente abbiamo rinnovato il nostro contratto di hosting e fatto acquisti e nessuno era competitivo nello spazio di archiviazione, né i prezzi erano inferiori al nostro precedente contratto di 3 anni. Le unità SAS sono diminuite di prezzo, le unità disco / array / SAN / FC / switch sono diminuite, tutto è diminuito di prezzo. Ma non l'archiviazione su disco?

Un collega con molta più esperienza ha sottolineato la tattica. La CPU, la memoria, i prezzi della larghezza di banda erano sbalorditivi! Iscriviti qui! Iscriviti ora e ignora quel problema di spazio su disco! Non avrai bisogno di così tanto spazio su disco. Guarda la CPU e la memoria!

Una volta che ti impegni con il loro contratto, ti hanno davvero conquistato e accumulano le loro entrate nello spazio su disco. Sì, è RAID-5 e prestazioni elevate ecc. Ma i backup costano di più, la replica offsite costa di più.

Per le società di hosting è un modello di business. La maggior parte delle aziende fa qualcosa di simile con i loro prezzi: riduci questo prezzo qui ma aumenta quello laggiù per guadagnare altrove. Devono pagare anche l'affitto e gli stipendi.

Per i server interni hai diversi problemi. Non puoi semplicemente entrare in una sala server con la scatola Fedex che ha il tuo nuovo disco rigido da 3 TB. Se hai pianificato l'espansione è più semplice ma i server / rack / array potrebbero essere già alla loro capacità in termini di slot, I / O, schede controller, alimentazione.

È come guardare sotto una roccia, rimarrai sorpreso da ciò che potresti trovare.

È anche importante notare che lo storage "locale" potrebbe costare più di quanto si pensi comunque.

Come parte di un esercizio per cercare di spostare alcuni dei nostri dati "archiviati" sul cloud, di recente ho completato un esercizio di determinazione dei prezzi che confronta il costo dello spazio disponibile su disco (ad esempio formattato anziché non grezzo) disponibile sulla nostra SAN più recente con il costo di archiviazione nel servizio dati cloud di Amazon.

Considerando solo il prezzo pagato per la SAN stessa inclusi i dischi, ipotizzando una durata di 5 anni per l'hardware SAN e non i costi "generali" della gestione della nostra sala server, il nostro prezzo per 150 GB di spazio di archiviazione locale è di $ 31,88 al mese contro i $ 28,41 di Amazon ( ipotizzando un tasso di traffico al mese del 20% su e giù).

Ora non ho intenzione di correre fuori e spostare tutto il nostro spazio di archiviazione nel cloud perché ci sono altri vantaggi nell'avere spazio di archiviazione locale, ma penso che questo tipo di esercizio dei prezzi sia utile: se pensi che lo spazio di archiviazione nel cloud sia costoso, allora quanto stai davvero pagando per la tua memoria locale?

La mia opinione su questa domanda è semplice IO ... un file che si trova su un singolo disco rigido di merce senza raid e probabilmente senza hot swap, ed è normalmente accessibile da una persona e probabilmente non è mai stato eseguito il backup. Questo è un metodo economico e semplice di IO ...

Nella nostra attività, ho usato uno dei metodi più costosi di raid (raid 10) che richiede un minimo di 4 unità; ne usiamo 6 ... questo ci dà alti tassi di I / O e tolleranza ai guasti.

Questa configurazione ha permesso di risparmiare un mio $$ in grande stile, e questo risultato ha comportato prestazioni più elevate e meno tempi di inattività per gli utenti finali .. per un IO semplice c'è solo una persona a deludere e probabilmente c'è poco valore finanziario legato ai tempi di inattività.

Abbiamo anche un server iSCSI dedicato che viene utilizzato per la virtualizzazione Xen e che è anche configurato per il raid 10 ...

Più IO è necessario per essere utilizzato e sottoposto a backup, più è costoso implementarlo ... se i requisiti della tua azienda accetteranno la perdita di dati, velocità molto basse e nessuna ridondanza, allora lo storage di classe business può essere eseguito sul economico!!! Preparati a essere licenziato ...