In che modo la variazione nel tempo di completamento dell'attività influisce su MakePan?

Diciamo che abbiamo una grande collezione di compiti $\tau_1, \tau_2, ..., \tau_n$ e una collezione di identici (in termini di prestazioni) processori $\rho_1, \rho_2, ..., \rho_m$ che funzionano completamente in parallelo. Per scenari di interesse, possiamo assumere $m \leq n$ . Ogni $\tau_i$ richiede una certa quantità di tempo / cicli per essere completato una volta assegnato a un processore $\rho_j$e, una volta assegnato, non può essere riassegnato fino al completamento (i processori alla fine completano sempre le attività assegnate). Supponiamo che ogni $\tau_i$ richieda una quantità di tempo / cicli $X_i$ , non nota in anticipo, presa da una discreta distribuzione casuale. Per questa domanda, si può anche assumere una distribuzione semplice: $P(X_i = 1) = P(X_i = 5) = 1/2$ , e tutto $X_i$ sono indipendenti coppie. Pertanto $\mu_i = 3$ e $\sigma^2 = 4$ .

Supponiamo che, staticamente, al tempo / ciclo 0, tutti i compiti siano assegnati nel modo più uniforme possibile a tutti i processori, uniformemente a caso; quindi a ciascun processore $\rho_j$ vengono assegnate $n/m$ attività (possiamo anche assumere $m | n$ ai fini della domanda). Chiamiamo makepan il tempo / ciclo in cui l'ultimo processore $\rho^*$ per terminare il lavoro assegnato, termina il lavoro che gli è stato assegnato. Prima domanda:

In funzione di $m$ , $n$ e $X_i$ , che cos'è il makepan $M$ ? In particolare, cos'è $E[M]$ ? $Var[M]$ ?

Seconda domanda:

Supponiamo $P(X_i = 2) = P(X_i = 4) = 1/2$ , e tutto $X_i$ sono indipendenti a due a due, in modo $\mu_i = 3$ e $\sigma^2 = 1$ . In funzione di $m$ , $n$ e di questi nuovi $X_i$ , qual è il makepan? Ancora più interessante, come si confronta con la risposta della prima parte?

Alcuni semplici esperimenti di pensiero dimostrano che la risposta a quest'ultima è che il makepan è più lungo. Ma come può essere quantificato? Sarò felice di pubblicare un esempio se questo è (a) controverso o (b) poco chiaro. A seconda del successo con questo, posterò una domanda di follow-up su uno schema di assegnazione dinamica con queste stesse ipotesi. Grazie in anticipo!

Analisi di un caso semplice: $m = 1$

Se , tutte le n attività sono programmate sullo stesso processore. Il makepan M è il momento giusto per completare n attività in modo sequenziale completo. Pertanto, E [ M $m = 1$$n$$M$$n$ e V a r [ M

$$\begin{align*} E[M] &= E[X_1 + X_2 + ... + X_n] \\ &= E[X_1] + E[X_2] + ... + E[X_n] \\ &= \mu + \mu + ... + \mu \\ &= n\mu \end{align*}$$ $$\begin{align*} Var[M] &= Var[X_1 + X_2 + ... + X_n] \\ &= Var[X_1] + Var[X_2] + ... + Var[X_n] \\ &= \sigma^2 + \sigma^2 + ... + \sigma^2 \\ &= n\sigma^2 \\ \end{align*}$$

Sembra che sia possibile utilizzare questo risultato per rispondere alla domanda per ; dobbiamo semplicemente trovare un'espressione (o approssimazione) per max ( Y 1 , Y 2 , . . . , Y m ) dove Y i = X i $m > 1$$\max(Y_1, Y_2, ..., Y_m)$ , una variabile casuale conμY=$Y_i = X_{i\frac{n}{m} + 1} + X_{i\frac{n}{m} + 2} + ... + X_{i\frac{n}{m} + \frac{n}{m}}$eσ 2 Y =$\mu_Y = \frac{n}{m}\mu_X$ . Questa direzione è nella direzione giusta?$\sigma_Y^2 = \frac{n}{m}\sigma_X^2$

Come , possiamo osservarlo in termini di k e n invece di n e m . Diciamo che T i è il tempo che impiega l' ho processore -esimo di terminare il suo lavoro.$m = k \times n$$k$$n$$n$$m$$T_i$$i$

Man mano che cresce, la probabilità che T i = 5 k (al processore siano state assegnate solo T = 5 attività) per alcuni i si avvicina a 1 , quindi si fa definirepan come m a x ( T i ) , E [ M ] si avvicina a 5 k .$n$$T_i$$5k$$T=5$$i$$1$$\mathrm{max}(T_i)$$E[M]$$5k$

Per il secondo scenario si tratta di quindi aumentare il numero di processori migliora la divisione di 4–2.$4k$

Che dire di - aumentare il numero di attività per processore? L'aumento di k ha l'effetto opposto, rende meno probabile avere un processore con una serie sfortunata di attività. Ora vado a casa ma ci tornerò più tardi. Il mio "sospetto" è che quando k cresce, la differenza in E [ M ] tra la divisione 4–2 e la divisione 5–1 scompare, E [ M ] diventa la stessa per entrambi. Quindi suppongo che 4–2 sia sempre migliore, tranne forse per alcuni casi speciali (valori specifici molto piccoli di k e n ), se anche quello.$k$$k$$k$$E[M]$$E[M]$$k$$n$

Quindi per riassumere:

• La varianza inferiore è migliore, tutto il resto è uguale.
• Con l'aumentare del numero di processori, la varianza inferiore diventa più importante.
• Con l'aumentare del numero di attività per processore, la varianza inferiore diventa meno importante.

I find that heuristic arguments are often quite misleading when considering task scheduling (and closely related problems like bin packing). Things can happen that are counter-intuitive. For such a simple case, it is worthwhile actually doing the probability theory.

Let $n = km$ with $k$ a positive integer. Suppose $T_{ij}$ is the time taken to complete the $j$-th task given to processor $i$. This is a random variable with mean $\mu$ and variance $\sigma^2$. The expected makespan in the first case is

$$E[M] = E[\max \left\{\sum_{j=1}^k T_{ij} \mid i=1,2,\dots,m \right\}].$$ The sums are all iid with mean $k\mu$ and variance $k\sigma^2$, assuming that $T_{ij}$ are all iid (this is stronger than pairwise independence).

Now to obtain the expectation of a maximum, one either needs more information about the distribution, or one has to settle for distribution-free bounds, such as:

• Peter J. Downey, Distribution-free bounds on the expectation of the maximum with scheduling applications, Operations Research Letters 9, 189–201, 1990. doi:10.1016/0167-6377(90)90018-Z

which can be applied if the processor-wise sums are iid. This would not necessarily be the case if the underlying times were just pairwise independent. In particular, by Theorem 1 the expected makespan is bounded above by

$$E[M] \le k\mu + \sigma\sqrt{k}\frac{n-1}{\sqrt{2n-1}}.$$ Downey also gives a particular distribution achieving this bound, although the distribution changes as $n$ does, and is not exactly natural.

Note that the bound says that the expected makespan can increase as any of the parameters increase: the variance $\sigma^2$, the number of processors $n$, or the number of tasks per processor $k$.

For your second question, the low-variance scenario resulting in a larger makespan seems to be an unlikely outcome of a thought experiment. Let $X = \max_{i=1}^m X_i$ denote the makespan for the first distribution, and $Y = \max_{i=1}^m Y_i$ for the second (with all other parameters the same). Here $X_i$ and $Y_i$ denote the sums of $k$ task durations corresponding to processor $i$ under the two distributions. For all $x \ge k\mu$, independence yields

$$Pr[X \le x] = \prod_{i=1}^m Pr[X_i \le x] \le \prod_{i=1}^m Pr[Y_i \le x] = Pr[Y \le x].$$ Since most of the mass of the probability distribution of the maximum will be above its mean, $E[X]$ will therefore tend to be larger than $E[Y]$. This is not a completely rigorous answer, but in short, the second case seems preferable.