Più server si comportano come uno singolo con tutto l'hardware? [chiuso]

ormai ho 10 server per hpc, orientati al power computing. I miei utenti devono avviare diversi processi utilizzando qmake. Gli utenti sono abituati a lavorare con Ubuntu 9.10 e il software dei repository è commutabile per loro.

Ho distribuito Ubuntu 9.10 su tutti e 10 i server (pxe Rock).

Ormai lavoriamo con parallel-ssh e cluster-ssh, il che consente di avviare lo stesso processo su tutti i server. Con questi strumenti questi server rimangono server indipendenti ma con lo stesso software e lo stesso comando avviato.

Ora vorremmo andare al passaggio successivo e vedere tutti i server come uno singolo con tutte le risorse degli altri 9 come se fossero le sue risorse.

La differenza sarebbe sostanziale nel tempo di elaborazione e anche nel tempo di progettare il comando per l'avvio.

Qualche consiglio su quale software utilizzare sarà molto utile?

Grazie

Quello di cui stai parlando si chiama Single System Image (SSI) . La variante più comune di questo schema per Linux è implementata da MOSIX . Sebbene offra alcuni vantaggi in termini di gestione del sistema, in generale i processi non possono estendersi su più nodi senza utilizzare una qualche forma di MPI . In pratica, indipendentemente dal fatto che si utilizzi un cluster "standard" in esecuzione su gridengine o si formino i sistemi in un'unica immagine, sarà comunque necessario modificare tutto il software per poter estendere più nodi.

Un cluster non è una singola macchina dal punto di vista delle prestazioni, le località fs / memory sono importanti per le prestazioni.

Fare cose a livello di applicazione, sebbene meno generale, è più efficiente in termini di risorse. Il tuo esempio di qmake può essere velocizzato significativamente impostando distcc.

alla fine ho usato Sun Grid Engine.

Ho documentato in un wiki privato e tagliato e incollato sul mio blog. Penso che possa essere utile anche senza traduzione. ;)

Blog: http://suportrecerca.barcelonamedia.org/blog/?p=240

Se qualcuno vuole il codice wiki, chiedilo qui.

Grazie.

Non ne ho mai implementato uno prima, ma sembra che un cluster di beowulf funzionerebbe per quello che stai cercando di fare. Ho letto molte cose su questo in passato e per alcuni processi più semplici può essere necessaria una piccola ricodifica a seconda di ciò che stai cercando di ottenere.