Come posso impostare il numero massimo di lavori in esecuzione per utente su SGE?

Stiamo usando SGE (Sun Grid Manager). Abbiamo alcune limitazioni sul numero totale di lavori simultanei di tutti gli utenti.

Vorrei sapere se è possibile impostare un limite temporaneo e volontario sul numero di lavori in esecuzione simultanei per un utente specifico.

Ad esempio, l'utente davesta per inviare 500 lavori, ma non vorrebbe che vengano eseguiti contemporaneamente più di 100 lavori, ad esempio poiché sa che i lavori eseguono molti I / O che hanno bloccato il filesystem (storia vera, sfortunatamente).

È possibile?

gridengine

— David B
fonte

È possibile definire un complesso con qconf -mc. Chiamalo come high_ioo come preferisci e imposta il campo consumabile su YES. Quindi nella configurazione globale con qconf -me globalo in una particolare coda con qconf -mq <queue name>set high_io=500nei valori complessi. Ora dì ai tuoi utenti di specificare -l high_io=1o comunque molti "token" che vorresti che usassero. Ciò limiterà il numero di lavori simultanei a qualunque cosa imposti il valore complesso.

L'altro modo per farlo è con le quote. Aggiungi una quota con un qconf -arqsaspetto simile al seguente:

 {
        name         dave_max_slots
        description  "Limit dave to 500 slots"
        enabled      true
        limit        users {dave} to slots=500
 }

— Kamil Kisiel
fonte

Grazie Kamil e scusa per la risposta tardiva. Un paio di follow-up, dal momento che sono abbastanza nuovo qconf. Per quanto riguarda il tuo primo suggerimento, potresti essere un po 'più esplicito? Cosa è "consumabile"? Dopo aver configurato come indicato, per dire semplicemente all'utente qsubcon -l high_io=1?

— David B,

Fondamentalmente un complesso è una risorsa di valore che può essere richiesta da un lavoro con il -lpassaggio a qsub. Impostando un complesso come materiale di consumo, significa che quando un lavoro richiede quel complesso il numero disponibile viene ridotto. Quindi, se una coda ha 500 del complesso high_io e un lavoro ne richiede 20, saranno disponibili 480 per altri lavori. Richiederesti il complesso come nel tuo esempio.

— Kamil Kisiel,

Grazie Kamil. Mi dispiace non posso votare (non ancora abbastanza reputazione).

— David B,