In che modo i servizi con elevate percentuali di importazione installano abbastanza dischi rigidi abbastanza velocemente?

Amazon, Facebook e Google devono accettare TB se non PB al giorno, quindi ciò significa che hanno persone che installano continuamente nuovi dischi rigidi e cavi in ​​nuovi rack nello stesso modo in cui potresti costruire un server normale o viene utilizzata una tecnologia diversa per il collegamento di unità in massa?

Non so se qualcuno di loro stia installando l'hardware un server alla volta. Nel 2008 MS ha iniziato a costruire i suoi data center consegnando i server in container di spedizione sigillati e precablati di server che dovevano solo scaricare da un camion e collegare le connessioni di alimentazione / rete. Mentre la build 08 era un mix di container e tradizionale per il loro data center più recente, da allora sono passati a un design prefabbricato personalizzato che è resistente alle intemperie e non ha bisogno di essere alloggiato all'interno di edifici separati.

Sia HP che IBM vendono pacchetti simili con contenitori predefiniti pieni di server che richiedono solo connessioni di alimentazione / dati per la distribuzione.

Google ha diverse tecnologie che hanno sviluppato internamente per archiviare queste enormi masse di dati. Utilizzando queste tecnologie possono effettivamente aggiungere carichi di camion di dischi rigidi nel loro cluster senza tempi di inattività, ma sì, hanno ancora bisogno che le persone lo facciano.

Per quanto ne so dal blog di Google, le due parti principali sono il file system di Google, che è un file system distribuito che può essere scalato su larga scala: Google File System

E oltre al file system di Google hanno Big Table, che è una sorta di database di valori chiave e si espande anche in enormi scale: Big Table

Per garantire l'alta disponibilità, tutto è ridondante molte volte, più di 3 volte nella maggior parte dei casi.

È esattamente corretto. Ricordo che un giorno, i datacenter di Facebook stavano aggiungendo tre rimorchi per trattori pieni di dischi rigidi e server montati su rack nel giorno medio. Naturalmente, hanno schemi complicati per rendere ridondante e ridimensionabile l'archiviazione. Google, ad esempio, ha GFS . Facebook ha tre data center solo per le loro apparecchiature, ciascuno più grande di due Wal-Mart e uno nuovo pianificato quattro volte più grande dei loro centri esistenti.

Con le soluzioni di storage Open Compute di nuova generazione in grado di contenere 180 TB di disco in 4 unità rack, un PB non è davvero una grande quantità di spazio: l'aggiunta di 1 PB al giorno significherebbe il racking di 5 server di questo tipo al giorno, non è un grosso problema. Meglio ancora, questi si possono avere per circa $ 10K, il che significa che stai pagando meno di $ 60 per TB.

Quindi sì, la tecnologia è disponibile per tutti noi per fare lo stesso, ad un prezzo che non rompe la banca.

Ma devi tenere presente che le aziende più grandi ottengono sempre un affare migliore e firmano contratti di grandi dimensioni per procurarsi grandi quantità di spazio di archiviazione. Potrebbero avere piccole spedizioni distribuite nel corso dell'anno, ma non è come se ordinassero solo 1 PB alla volta.

Ecco un interessante post sul blog di BackBlaze su come fanno (probabilmente non hanno bisogno di tanti dischi come Google o Facebook, ma ancora del tutto), e cosa devono fare quando ci sono inondazioni in Tailandia che hanno reso hard disk costoso e difficile da ottenere:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/