Gli operai edili hanno riempito la mia SAN di polvere di cemento e minerali

Aggiornamento: EMC ha abbandonato la nostra garanzia e supporto, quindi si tratterà di un caso assicurativo. Dell afferma che possiamo ottenere un'agenzia di pulizie professionale per rinnovare i server e mantenere la nostra garanzia. Cisco dice "forse". HP è ancora silenzioso :(

Aggiornamento finale: EMC ha cambiato direzione e approvato la pulizia da un'azienda certificata. Il VNX ci è stato rispedito oggi e funziona perfettamente. Anche il resto della sala server viene pulito e le nostre perdite sono limitate a un paio di unità nastro. La compagnia di assicurazione riscuote il conto per quasi tutto il resto.

La domanda originale:

Ecco la storia ..

I proprietari dell'edificio da cui abbiamo affittato spazi per uffici hanno deciso di fare un rinnovamento degli esterni. Ciò ha comportato un lavoro piuttosto pesante al livello in cui si trova la nostra sala server, incluso lo scambio di finestre che si adattano all'interno di un muro di cemento.

Il mio avviso rosso è scattato quando ho saputo che avrebbero fatto la stessa cosa con la nostra sala server (sì, la nostra sala server ha una finestra. Siamo un piccolo negozio con 3 rack. La finestra è fissata con barre d'acciaio.) Ho esplicitamente detto all'appaltatore che devono installare temporaneamente un muro tra i nostri rack e il muro originale e assicurarsi che il muro temporaneo sia a tenuta d'aria al 100% e all'acqua. Hanno promesso di farlo.

Il muro temporaneo ha una piccola porta, in modo che i lavoratori possano entrare / uscire durante il giorno (attraverso la nostra sala server, che era l'unica opzione ....). In diverse occasioni ho potuto trovare la piccola porta chiusa a metà mentre lavoravo serate / notti. Ho chiuso a chiave la porta e ho pensato che avrebbero sperato di capire presto il punto e tenere la porta chiusa. Ho anche dato a un elettricista un boccone quando ho visto che non chiudeva bene la porta.

A questo punto - scommetto che molti di voi hanno una foto di quello che è successo. Sì, probabilmente hanno lasciato la porta aperta durante la perforazione del cemento.

Vi presento il nostro EMC VNX di 4 settimane: Dischi VNX Rack VNX

Metterò anche un piccolo bonus, ecco l'UPS APC un rack più lontano dal muro temporaneo. Vedi la bella piccola pista di atterraggio dal mio dito? UPS

Cosa dovrei fare? L'unica cosa che mi viene in mente è di chiamare tutti i nostri fornitori (EMC, HP, Dell, Cisco) e di farli inviare ai tecnici per controllare tutte le attrezzature nella sala server o ottenere una sorta di consulente di terze parti certificato per controllare tutto. Gestiresti sistemi di produzione su questa attrezzatura? Per quanto?

Dovrei anche notare che la nostra aria condizionata non è esattamente di livello enterprise, data la natura della nostra piccola stanza. È solo un singolo inverter, che è fallito una volta prima che iniziassi a lavorare qui (gli inverter guasti di solito portano alla fuoriuscita di acqua).

server-room disaster

— pauska
fonte

purtroppo, ho saputo che i sistemi di produzione funzionano in condizioni molto peggiori (pensate ai magazzini). Ma non è l'ideale per nessun tratto, specialmente per le nuove attrezzature. Avrei indagato su come ottenere una sorta di compensazione almeno per la pulizia, e forse per l'inevitabile pochi fan che falliscono. Tuttavia, dipende in gran parte dal flusso d'aria e dalla quantità di unità che l'attraversa. Come minimo, pulire la stanza, quindi i filtri dell'aria o le prese d'aria sull'apparecchiatura e tenere d'occhio le temperature e il raffreddamento.

— Sirex,

Sì, anche se non è una buona cosa, ho visto molto peggio e su kit più critici e più costosi. Quindi, risolvilo ma non mi aspetto un fallimento imminente.

— Dan,

Peccato leggere che EMC ha abbandonato la garanzia, gli altri produttori faranno lo stesso, scommetto ... Non abbiate paura di portare un avvocato in questo ...

— HTDutchy,

Al contrario: abbiate paura di coinvolgere gli avvocati in questo. Raccogli le tue prove insieme. Sì, ottieni una consulenza professionale. Abbiamo avuto un grave problema una volta, in cui un avvocato ci ha detto che avevamo danni tangibili. Alla fine non abbiamo avuto, e dopo la causa contro il venditore, che abbiamo perso, abbiamo avuto una causa contro il nostro avvocato, che è stata mitigata fuori dal tribunale. Fai molta attenzione a quali danni esistono realmente e a chi è responsabile. Se trovi un avvocato di fiducia (haw), ti diranno quali sforzi richiede la causa e quali sono le tue possibilità. Se dicono che è chiaro al 100%, mentono.

— Posipiet,

Quei poveri bambini!

— Ben Brocka,

Risposte:

Coinvolgi tutti i tecnici.
Fagli controllare / pulire tutte le attrezzature.
Invia il conto al pianificatore dell'edificio.

In realtà, i server possono sopportare un certo livello di polvere, ma questo è troppo. Puliamo regolarmente i nostri server durante i tempi di inattività con un vuoto del PC di 3M . È una bella cosa avere in ufficio.

Ma per ora, inizia a pulire. Più velocemente si ottiene la polvere da lì, meglio è. Cerca di mantenere i dissipatori di calore e i fan lontani dalla polvere. Se un dissipatore di calore o un ventilatore è coperto di polvere, la sua capacità di dissipare il calore è molto peggio di un'unità pulita.

— Bart De Vos
fonte

In tal caso, dovrebbe davvero indagare sull'assunzione di un servizio specializzato nella pulizia antistatica della sala server.

— Erimar77,

@erimar77: la nostra compagnia assicurativa è su quella rotta proprio ora :)

— pauska,

Primo: quando la sala server diventa un cantiere, è necessario rimuovere tutti i server, per diversi motivi.

interruzioni di corrente
interruzioni del raffreddamento
accesso (non sai chi cammina oltre i tuoi server, a che ora)
sollecitazioni meccaniche dovute a macchinari edili
danno diretto da parte di lavoratori che si scontrano
polvere residua dal cantiere, in particolare polvere metallica o minerale

L'unica scommessa sicura è quella di rimuovere i tuoi server in un'altra stanza. Ciò significa ulteriori arresti, ma nel corso delle attività di costruzione, probabilmente dovrai comunque effettuare l'arresto.

(intendiamoci, la seguente è la mia opinione soggettiva) Ora questo è successo. I fan sono coperti di polvere minerale. Ciò potenzialmente riduce la loro durata influenzando i cuscinetti.

Non mi aspetto che i server si guastino in modo massiccio, ma mi aspetto di avere una percentuale maggiore di errori. A un cliente abbastanza grande, le interruzioni dei fan sono aumentate dopo le attività di costruzione.

Ma poi di nuovo, non farei di tutto per pulire i sistemi. Se la pulizia provoca danni, è probabilmente più grande di una ventola guasta. A meno che, ovviamente, se la polvere contenga particelle metalliche, questo cambia l'intero gioco.

Cosa fare? Pulisci la stanza, pulisci l'esterno dei server, riserva un po 'di denaro per sostituzioni precedenti in futuro.

Il danno molto probabilmente non è plausibile. La parte del danno che puoi provare probabilmente non vale la pena andare in tribunale. Potresti provare a ottenere una certa quantità di risarcimento dal proprietario, forse un pagamento ridotto o giù di lì.

— Posipiet
fonte

Quello che avremmo dovuto fare non è particolarmente utile, ma sono d'accordo con i punti che elenchi. Il colpevole è che non so (ancora) se ci sono tracce metalliche nella polvere. L'altro potenziale pericolo qui è il fallimento dell'aria condizionata, che potrebbe portare a un'aria umida - che non è buono combinato con cemento e / o polvere minerale.

— pauska,

dato che il sito viene letto da molte altre persone, alcune delle quali potrebbero avere dei lavori di costruzione in avvicinamento, quello che avresti dovuto fare sono informazioni davvero utili, un po 'in ritardo per te personalmente.

— Sirex,

È vero. Ci scusiamo per essere un po 'felice, il mio umore è al di sotto della media in questo momento.

— pauska,

Sono d'accordo con questo. Stavamo installando nuove piastrelle per controsoffitto e durante il processo i lavoratori hanno coperto i rack del server con teli di plastica. Per fortuna, ero lì e gli avvisi termici hanno generato un avviso e-mail, ma senza quello sarebbe stato un brindisi. Una volta che i server vengono contaminati dal particolato, è molto difficile invertire e gli effetti collaterali possono durare a lungo e causare problemi molto elusivi.

— Greg Askew,