Perché il raffreddamento ad acqua del datacenter non è diffuso?

Da quello che ho letto e sentito sui datacenter, non ci sono troppe sale server che usano il raffreddamento ad acqua e nessuno dei datacenter più grandi usa il raffreddamento ad acqua (correggimi se sbaglio). Inoltre, è relativamente facile acquistare normali componenti per PC utilizzando il raffreddamento ad acqua, mentre i server rack raffreddati ad acqua sono quasi inesistenti.

D'altra parte, l'uso dell'acqua può eventualmente (IMO):

1. Ridurre il consumo di energia di grandi data center, soprattutto se è possibile creare strutture con raffreddamento diretto (ovvero la struttura si trova vicino a un fiume o al mare).

2. Ridurre il rumore, rendendo meno doloroso per gli esseri umani lavorare nei datacenter.

3. Ridurre lo spazio necessario per i server:

   • A livello di server, immagino che sia nei server rack che nei server blade sia più facile far passare i tubi di raffreddamento dell'acqua piuttosto che sprecare spazio per consentire all'aria di passare all'interno,
   • A livello di datacenter, se è ancora necessario mantenere i vicoli tra i server per l'accesso di manutenzione ai server, è possibile rimuovere lo spazio vuoto sotto il pavimento e al livello del soffitto utilizzato per l'aria.

Quindi perché i sistemi di raffreddamento ad acqua non sono diffusi, né a livello di data center, né a livello di server rack / blade?

È perché:

• Il raffreddamento ad acqua è quasi ridondante a livello di server?

• Il costo diretto della struttura raffreddata ad acqua è troppo elevato rispetto a un normale datacenter?

• È difficile mantenere tale sistema (pulire regolarmente il sistema di raffreddamento ad acqua che utilizza l'acqua di un fiume è ovviamente molto più complicato e costoso della semplice pulizia a vuoto dei ventilatori)?

Acqua + Elettricità = Disastro

Il raffreddamento ad acqua consente una maggiore densità di potenza rispetto al raffreddamento ad aria; quindi scopri i risparmi sui costi della densità extra (probabilmente nessuno a meno che tu non sia molto limitato nello spazio). Quindi calcola il costo del rischio di un disastro idrico (diciamo 1% * il costo della tua struttura). Quindi fai un semplice confronto rischio-rendimento e vedi se ha senso per il tuo ambiente.

Quindi spezzerò la mia risposta in parti serverali:

• Proprietà fisiche dell'acqua rispetto all'aria e all'olio minerale
• Rischi di utilizzo dell'acqua e esperienze storiche negative
• Costo totale del raffreddamento di un datacenter
• Debolezze dei classici sistemi di raffreddamento a liquido

Proprietà fisiche dell'acqua rispetto ad altre

Prima alcune semplici regole:

• Il liquido può trasportare più calore dei gas
• Evaporare un liquido estrarre più calore (utilizzato in frigorifero)
• L'acqua ha le migliori proprietà di raffreddamento di tutti i liquidi.
• Un fluido in movimento estrae il calore in modo migliore rispetto a un fluido non in movimento
• Il flusso turbolento richiede più energia per essere spostato, ma estrae il calore molto meglio del flusso laminare.

Se si confronta l'acqua e l'olio minerale con l'aria (per lo stesso volume)

• l'olio minerale è circa 1500 volte migliore dell'aria

• l'acqua è circa 3500 volte migliore dell'aria

• l'olio è un cattivo conduttore di elettricità in tutte le condizioni e viene utilizzato per raffreddare trasformatori ad alta potenza.

• l'olio a seconda del tipo esatto è un solvente ed è in grado di dissolvere la plastica
• l'acqua è un buon conduttore di elettricità se non è pura (contiene minerali ...) altrimenti no
• l'acqua è un buon elettrolita. Quindi i metalli messi in contatto con l'acqua possono essere sciolti in determinate condizioni.

Ora alcuni commenti su quello che ho detto sopra: i confronti sono fatti a pressione atmosferica. In questa condizione l'acqua bolle a 100 ° C, che è superiore alla temperatura massima per i processori. Quindi, quando si raffredda con acqua, l'acqua rimane liquida. Il raffreddamento con composti organici come olio minerale o freon (ciò che viene utilizzato in frigorifero) è un metodo classico di raffreddamento per alcune applicazioni (centrali elettriche, veicoli militari ...) ma l'uso a lungo termine dell'olio a contatto diretto con la plastica non è mai stato fatto nel settore IT. Quindi la sua influenza sull'affidabilità delle parti del server è sconosciuta (Green Evolution non dice nulla su di essa). Farti muovere liquidi è importante. Fare affidamento sul movimento naturale all'interno di un liquido non mobile per rimuovere il calore è inefficiente e dirigere correttamente un liquido senza tubo è difficile. Per queste ragioni,

Problemi tecnici

Fare mosse aeree è facile e le perdite non rappresentano una minaccia per la sicurezza (per l'efficienza). Richiede molto spazio e consuma energia (il 15% del consumo di desktop è destinato ai fan)

Fare una mossa liquida è problematico. Hai bisogno di tubi, blocchi di raffreddamento (piastre fredde) collegati a ogni componente che vuoi raffreddare, un serbatoio, una pompa e forse un filtro. Inoltre, la manutenzione di un tale sistema è difficile poiché è necessario rimuovere il liquido. Ma richiede meno spazio e richiede meno energia.

Un altro punto importante è che molta ricerca e standardizzazione sono state ridotte su come progettare schede madri, desktop e server basati su un sistema basato su aria con ventole di raffreddamento. E i design risultanti non sono adeguati per i sistemi a base liquida. Maggiori informazioni su formfactors.org

rischi

• I sistemi di raffreddamento ad acqua possono fuoriuscire se il progetto è mal realizzato. I tubi di calore sono un buon esempio di un sistema a base liquida che non presenta perdite ( consultare qui per maggiori informazioni )
• I comuni sistemi di raffreddamento ad acqua raffreddano solo componenti caldi e richiedono quindi un flusso d'aria per altri componenti. Quindi hai 2 sistemi di raffreddamento invece di uno e degradi le prestazioni del tuo sistema di raffreddamento ad aria.
• Con i modelli standard, una perdita d'acqua ha un enorme rischio di causare molti danni se entra in contatto con parti metalliche.

Osservazioni

• L'acqua pura è un cattivo conduttore di elettricità
• Quasi ogni parte dei componenti elettronici è rivestita con un rivestimento non conduttivo. Solo i cuscinetti per saldatura non lo sono. Quindi alcune gocce d'acqua possono essere innocue
• I rischi idrici possono essere mitigati dalle soluzioni tecniche esistenti

L'aria di raffreddamento riduce la sua capacità di contenere acqua (umidità) e quindi esiste il rischio di condensa (dannoso per l'elettronica). Quindi, quando si raffredda l'aria, è necessario rimuovere l'acqua. Ciò richiede energia. Il normale livello di umidità per un essere umano è di circa il 70% di umidità, quindi è possibile che dopo il raffreddamento sia necessario ripristinare l'acqua nell'aria per le persone.

Costo totale di un datacenter

Quando si considera il raffreddamento in un datacenter, è necessario prendere in considerazione ogni parte di esso:

• Condizionare l'aria (filtrare, rimuovere l'umidità in eccesso, spostarla ...)
• L'aria calda e fredda non devono mai mescolarsi altrimenti si riduce l'efficienza e vi è il rischio di punti caldi (punti che non sono sufficientemente raffreddati)
• È necessario un sistema per estrarre il calore in eccesso o limitare la densità di produzione del calore (meno server per rack)
• Potresti già avere tubi per rimuovere il calore dalla stanza (per trasportarlo sul tetto)

Il costo di un datacenter è determinato dalla sua densità (quantità di server per metro quadrato) e dal suo consumo di energia. (alcuni altri fattori entrano anche in considerazione, ma non per questa discussione) La superficie totale del data center è divisa nella superficie utilizzata dal server stesso, dal sistema di raffreddamento, dalle utility (elettricità ...) e dalle sale di manutenzione. Se si dispone di più server per rack, è necessario un maggiore raffreddamento e quindi più spazio per il raffreddamento. Ciò limita la densità effettiva del tuo datacenter.

abitudini

Un datacenter è qualcosa di estremamente complesso che richiede molta affidabilità. Le statistiche sulle cause di downtime in un datacenter indicano che l'80% dei downtime sono causati da errori umani.

Per raggiungere il miglior livello di affidabilità, sono necessarie molte procedure e misure di sicurezza. Quindi storicamente nei datacenter, tutte le procedure sono fatte per i sistemi di raffreddamento ad aria e l'acqua è limitata al suo utilizzo più sicuro se non bandita dai datacenter. Fondamentalmente, è impossibile che l'acqua entri mai in contatto con i server.

Fino ad ora, nessuna azienda è stata in grado di fornire una soluzione di raffreddamento ad acqua sufficientemente buona per cambiare la questione.

Sommario

• Tecnicamente l'acqua è migliore
• Il design del server e il datacenter non sono adattati al raffreddamento ad acqua
• Le attuali procedure di manutenzione e sicurezza vietano l'uso del raffreddamento ad acqua all'interno dei server
• Nessun prodotto commerciale è abbastanza buono per essere utilizzato nei datacenter

Mentre abbiamo alcuni rack raffreddati ad acqua (in realtà quelli HP, non so se li fanno ancora) il raffreddamento diretto dell'acqua è un po 'vecchio stile in questi giorni. La maggior parte dei nuovi data center di grandi dimensioni viene costruita con tunnel di aspirazione in cui si inserisce il rack, in modo da far passare l'aria ambiente ed espellere o catturare per riutilizzare il calore raccolto mentre si sposta attraverso l'apparecchiatura. Ciò significa che non vi è alcun tipo di refrigerazione e consente di risparmiare enormi quantità di energia, complessità e manutenzione, sebbene limiti i sistemi all'uso di rack / dimensioni molto specifici e richiede che lo spazio di riserva del rack sia "oscurato" nella parte anteriore.

L'acqua è un solvente universale. Dato abbastanza tempo, mangerà TUTTO.

Il raffreddamento ad acqua aggiungerebbe anche un considerevole (e costoso) livello di complessità a un data center a cui alludi nel tuo post.

I sistemi di soppressione degli incendi nella maggior parte dei data center non contengono acqua per alcuni motivi molto specifici, in molti casi i danni causati dall'acqua possono essere maggiori dei danni da incendio e poiché i data center sono incaricati di uptime (con generatori di backup per l'alimentazione, ecc.) , questo significa che è piuttosto difficile tagliare energia a qualcosa (in caso di incendio) per spruzzare acqua su di esso.

Quindi puoi immaginare se hai un qualche tipo di complesso sistema di raffreddamento ad acqua nel tuo data center, che abbandona il fantasma in caso di incendio ?? Yikes.

Penso che la risposta breve sia che aggiunge una notevole complessità. Non è tanto un problema di spazio.

Se hai a che fare con grandi quantità di acqua (tubazioni, deflusso, ecc.) Stai aggiungendo un sacco di rischi ... acqua ed elettricità non si mescolano bene (o si mescolano troppo bene, a seconda di come guardi esso).

L'altro problema con l'acqua è l'umidità. Su larga scala, lancerà tutti i tuoi sistemi di condizionamento d'aria per un loop. Poi c'è l'accumulo di minerali dall'evaporazione e senza dubbio tonnellate di altre cose a cui non ho pensato qui.

l'acqua NON deve essere utilizzata per il raffreddamento del datacenter ma un olio minerale che si miscela molto bene con l'elettricità. vedi http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/

anche se la soluzione è nuova, la tecnologia è piuttosto vecchia, tuttavia apportare questo tipo di modifica ai data center esistenti diventa molto difficile, poiché è necessario sostituire i rack esistenti con un nuovo tipo di rack ...

Il grande disincentivo per non usare l'acqua nei data center è il fatto che la maggior parte dei sistemi di raffreddamento ad acqua sono primitivi. Tutti hanno bisogno di connessioni rapide per connettere il server alla fonte d'acqua nel rack e quelli sono una fonte di errore, specialmente perché potresti averne migliaia in un controller di dominio. Inoltre rendono i server più difficili da gestire e nella maggior parte dei casi sono ancora necessari i fan. Quindi stai aggiungendo alla complessità.

Dal lato umano, la maggior parte dei gestori delle strutture resistono al cambiamento. Sono molto abili con il raffreddamento ad aria e un passaggio al liquido renderebbe obsolete queste abilità. Inoltre, ogni impianto OEM resisterà al cambiamento in quanto implicherebbe una ripetizione completa della linea di prodotti.

Il cambiamento arriverà solo con a) migliori progetti di raffreddamento a liquido eb) legislazione per forzare il cambiamento

Lo fanno, ma sono necessari componenti progettati su misura, OVH (una delle più grandi società di data center al mondo) utilizza il raffreddamento ad acqua da oltre 10 anni.

Dai un'occhiata a questo link dove puoi vedere i loro rack: http://www.youtube.com/watch?v=wrrZxmfevoE

Il problema principale per le aziende classiche è che è necessario fare un po 'di ricerca e sviluppo per utilizzare tale tecnologia.

I centri di raccolta dati raffreddati ad acqua sono molto efficienti e consentono di risparmiare energia se si dispone di acqua depurata. tuttavia i pericoli sono maggiori se sono a stretto contatto. 1) livelli di umidità / umidità
2) acqua contro elettricità.

L'acqua potrebbe non essere il miglior fluido da usare. Come sottolineato, col tempo dissolverà ogni cosa. Sicuramente l'acqua ha un buon uso nelle applicazioni di raffreddamento, ma la soluzione non è la migliore. Tuttavia, anche l'olio minerale può entrare in gioco, non è anche l'opzione migliore da scegliere.

Sono disponibili oli speciali per il trasferimento di calore che non sono corrosivi, a differenza dell'acqua, e sono stati appositamente progettati per essere utilizzati come fluido per il trasferimento di calore. Paratherm ne fa già una grande varietà.

Il problema sarebbe quello di collegare roba a uno scambiatore di calore a circuito chiuso e stiamo parlando di grandi numeri.

La soluzione è già stata realizzata, ma non utilizzata in ambienti elettronici e proviene da macchinari agricoli. Per nominarlo, l'idraulica. Le estremità del tubo flessibile a scatto rapido sono a prova di perdite, se per qualsiasi motivo sono scollegate, le chiudono anche da entrambe le estremità maschio e femmina. nella peggiore delle ipotesi, dopo la disconnessione non ci sarebbero più di 1-2 piccole goccioline.

Quindi possiamo eliminare quella parte. La progettazione di parti in rame adeguate che si adattano a ogni singolo chip / circuito che deve essere raffreddato è tuttavia un compito impegnativo. Come nel caso del raffreddamento a liquido, è necessario coprire ogni singola parte che deve eliminare il calore in eccesso. Ci vorrebbe una pompa a pressione relativamente alta, garantire sensori e riduttori per assicurarsi che ogni rack abbia una quantità adeguata di liquido circolante e per prevenire un guasto. Saranno inoltre necessarie valvole di intercettazione elettroniche. Questa non è una novità poiché queste parti sono già realizzate, anche se per diverse intenzioni in primo luogo. Molte piccole ventole hanno il vantaggio della ridondanza, quindi si desidererebbero più unità di pompaggio per evitare possibilità di un singolo punto guasto.

A parte questo, se si tratta di un vero ciclo a circuito chiuso, lo spostamento di un fluido di trasferimento di calore a bassa viscosità piuttosto che un'enorme quantità di aria si ripagherebbe naturalmente.

In realtà avrebbe diversi modi per farlo. Innanzitutto i costi di condizionamento dell'aria e i costi di funzionamento dei ventilatori sarebbero ridotti. Non sottovalutare mai quei costi. Anche una piccola ventola può richiedere qualche watt di potenza e le ventole si guastano dopo un po '. Una pompa idraulica può funzionare - considerando la bassa pressione implicata in questa applicazione - letteralmente per anni 24/7, sostituendo un numero enorme di ventole. Successivamente, i chip di livello server sono in grado di resistere agli abusi e possono funzionare a temperature molto elevate rispetto agli oggetti desktop. Tuttavia, mantienili più freddi e la durata prevista sarà più lunga, il che non deve mai essere sottovalutato dato il prezzo di queste cose. La filtrazione dell'aria per prevenire polvere e umidità non sarebbe più necessaria.

Questi fattori superano di gran lunga gli svantaggi di questo tipo di tecnologia di raffreddamento. Tuttavia, l'investimento iniziale è più elevato. Sicuramente la soluzione può fornire configurazioni di server a densità più elevata, ma al momento l'investimento non è semplicemente preso in considerazione dai datacenter. La ricostruzione di una soluzione di raffreddamento esistente richiederebbe tempo e il tempo è denaro. La manutenzione sarebbe anche molto semplice in quanto i dissipatori ingombranti non sarebbero semplicemente necessari, né sarebbero i fan. Il numero ridotto di potenziali punti di guasto (ogni singolo ventilatore è uno di questi) è qualcosa da tenere a mente, anche le pompe ridondanti possono attivarsi senza alcuna interazione da parte degli operatori. Anche i fan si riscaldano da soli. Considera un'unità con 20 ventole al suo interno che non producono più di 5 watt. Il risultato finale sarebbe un altro 100 watt di calore per sbarazzarsi in qualche modo. Anche le pompe e i motori di guida producono calore, ma non all'interno di un'unità rack. Piuttosto separato e isolato dal sistema di destinazione. In caso di cortocircuito, ad esempio un elemento attivo alimentato in cortocircuito, questo tipo di raffreddamento a liquido può effettivamente spostare abbastanza calore e quindi ridurre la probabilità di propagazione del fuoco. Spostare l'aria fresca vicino a un fuoco non è la migliore idea. Anche le parti in plastica si sciolgono e le parti in plastica sono infiammabili. Il fluido termovettore funzionerà felicemente a temperature in cui i ventilatori si scioglierebbero potenzialmente dando l'opportunità di un'altra fonte di corto circuito. Anche le parti in plastica si sciolgono e le parti in plastica sono infiammabili. Il fluido termovettore funzionerà felicemente a temperature in cui i ventilatori si scioglierebbero potenzialmente dando l'opportunità di un'altra fonte di corto circuito. Anche le parti in plastica si sciolgono e le parti in plastica sono infiammabili. Il fluido termovettore funzionerà felicemente a temperature in cui i ventilatori si scioglierebbero potenzialmente dando l'opportunità di un'altra fonte di corto circuito.

Quindi il raffreddamento a liquido sarebbe pericoloso? Penso che dal punto di vista della sicurezza un mucchio di piccoli fan sia molto più pericoloso. Dal punto di vista della durata della vita, a mio avviso, il raffreddamento a liquido è di gran lunga più preferito. Gli unici inconvenienti sono la formazione del personale e gli investimenti iniziali. A parte questo, è una soluzione molto più praticabile che paga bene anche a metà corsa.

Funziona alla grande, ma è costoso e richiede molto tempo per essere installato per migliaia di macchine e occupa molto spazio. Inoltre non è necessario. Le piattaforme di gioco hanno modo di chiudere molto insieme. Qualsiasi cosa con una ventilazione decente andrà bene con un buon flusso d'aria di 70f anche con un funzionamento del 100% che quasi mai fanno.