Algoritmo efficiente per generare due permutazioni diffuse e squilibrate di un multiset a caso

sfondo

$\newcommand\ms[1]{\mathsf #1}\def\msD{\ms D}\def\msS{\ms S}\def\mfS{\mathfrak S}\newcommand\mfm[1]{#1}\def\po{\color{#f63}{\mfm{1}}}\def\pc{\color{#6c0}{\mfm{c}}}\def\pt{\color{#08d}{\mfm{2}}}\def\pth{\color{#6c0}{\mfm{3}}}\def\pf{4}\def\pv{\color{#999}5}\def\gr{\color{#ccc}}\let\ss\gr$ Supponiamo che io abbia due lotti identici di biglie. Ogni marmo può essere di uno dei colori , dove . Lascia che indichi il numero di biglie di colore in ciascun lotto. $n$ $c$ $c≤n$ $n_i$ $i$

Sia $\msS$ il multiset $\small\{\overbrace{\po,…,\po}^{n_1},\;\overbrace{\pt,…,\pt}^{n_2},\;…,\;\overbrace{\vphantom 1\pc,…,\pc}^{n_c}\}$ rappresenta un batch. Nella rappresentazione della frequenza , $\msS$ può anche essere scritto come $(\po^{n_1} \;\pt^{n_2}\; … \;\pc^{n_c})$ .

Il numero di permutazioni distinte di $\msS$ è dato dal multinomiale :

| S_{S} | = (\binom{n}{n_{1}, n_{2}, \dots, n_{c}}) = \frac{n!}{n_{1}! n_{2}! \dots n_{c}!} = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} .

$\left|\mfS_{\msS}\right|=\binom{n}{n_1,n_2,\dots,n_c}=\frac{n!}{n_1!\,n_2!\cdots n_c!}=n! \prod_{i=1}^c \frac1{n_i!}.$

Domanda

Esiste un algoritmo efficiente per generare casualmente due permutazioni diffuse e squilibrate $P$ e $Q$ di $\msS$ ? (La distribuzione dovrebbe essere uniforme.)

Una permutazione $P$ è diffusa se per ogni elemento distinto $i$ di $P$ , le istanze di $i$ vengano ripartite abbastanza regolare in $P$ .
Ad esempio, supponiamo $\msS=(\po^4\;\pt^4)=\{\po,\po,\po,\po,\pt,\pt,\pt,\pt\}$ .
- $\{\po, \po, \po, \pt, \pt, \pt, \pt, \po\}$ non è diffuso
- $\{\po, \pt, \po, \pt, \po, \pt, \po, \pt\}$ è diffuso
Più rigorosamente:
- Se , c'è solo un'istanza di per “spaziare” in , quindi lascia . $n_i=1$ $i$ $P$ $\Delta(i)=0$
- Altrimenti, lasciare che la distanza tra dell'istanza e istanza di in . Sottrai da essa la distanza prevista tra le istanze di , definendo quanto segue: Se è uniformemente spaziato in , allora dovrebbe essere zero, o molto vicino a zero se . $d(i,j)$ $j$ $j+1$ $i$ $P$ $i$ $δ (i, j) = d (i, j) - \frac{n}{n_{i}} Δ (i) = \sum_{j = 1}^{n_{i} - 1} δ (i, j)^{2}$ $\delta(i,j)=d(i,j)-\frac n{n_i}\qquad\qquad\Delta(i)=\sum_{j=1}^{n_i-1} \delta(i,j)^2$ $i$ $P$ $\Delta(i)$ $n_i\nmid n$
Definire la statistica per misurare la quantità di ogni è equamente distanziati in . Chiamiamo diffuso se è vicino a zero, o approssimativamente . (Si può scegliere una soglia specifica di modo che sia diffusa se ) $s(P)=\sum_{i=1}^c\Delta(i)$ $i$ $P$ $P$ $s(P)$ $s(P)\ll n^2$ $k\ll1$ $\msS$ $P$ $s(P)<kn^2$

Questo vincolo richiama un problema di pianificazione in tempo reale più rigoroso chiamato problema pinwheel con multiset (in modo che ) e densità . L'obiettivo è programmare una sequenza infinita ciclica tale che qualsiasi sottosequenza di lunghezza contenga almeno un'istanza di . In altre parole, un programma fattibile richiede tutto ; se è denso ( ), quindi e . Il problema della girandola sembra essere NP-completo. $\ms A=n/\msS$ $a_i=n/n_i$ $\rho=\sum_{i=1}^c n_i/n=1$ $P$ $a_i$ $i$ $d(i,j)≤a_i$ $\ms A$ $\rho= 1$ $d(i,j)=a_i$ $s(P)=0$
Due permutazioni e sono distorte se è una variazione di ; cioè, per ogni indice . $P$ $Q$ $P$ $Q$ $P_i ≠ Q_i$ $i\in[n]$
Ad esempio, supponiamo che . $\msS=(\po^2\;\pt^2)=\{\po,\po,\pt,\pt\}$
- $\{\po, \pt, \po, \pt\}$ e non sono distorti $\{\po, \po, \pt, \pt\}$
- $\{\po, \pt, \po, \pt\}$ e sono squilibrati $\{\pt, \po, \pt, \po\}$

Analisi esplorativa

Sono interessato alla famiglia di multiset con e per . In particolare, . $n=20$ $n_i=4$ $i\lesssim4$ $\msD=(\gr1^4\,\gr2^4\,\gr3^4\,\gr4^3\,\gr5^2\,\gr6^1\,\gr7^1\,\gr8^1)$

La probabilità che due permutazioni casuali e di siano squilibrate è di circa il 3%. $P$ $Q$ $\msD$

Questo può essere calcolato come segue, dove è il polinomio di Laguerre: Vedi qui per una spiegazione. $L_k$ $k$
$\begin{aligned} | D_{D} | & = \int_{0}^{\infty} d t e^{- t} \prod_{i = 1}^{c} L_{n_{i}} (t) = \int_{0}^{\infty} d t e^{- t} (L_{4} (t))^{3} (L_{3} (t)) (L_{2} (t)) (L_{1} (t))^{3} \\ = 4.5 \times 10^{11} \\ | S_{D} | & = n! \prod_{i = 1}^{c} \frac{1}{n_{i}!} = \frac{20!}{(4!)^{3} (3!) (2!) (1!)^{3}} = 1.5 \times 10^{13} \\ p & = | D_{D} | / | S_{D} | \approx 0.03 \end{aligned}$ $\begin{align*} \left|{\mathfrak D}_{\msD}\right| &=\int_0^\infty \!\!dt\; e^{-t}\, \prod_{i=1}^c L_{n_i}(t) =\int_0^\infty \!\!dt\; e^{-t}\, \bigl(L_4(t)\bigr)^3\bigl(L_3(t)\bigr)\bigl(L_2(t)\bigr)\bigl(L_1(t)\bigr)^3\\ &=4.5\times10^{11}\\ \left|\mfS_{\msD}\right| &=n!\prod_{i=1}^c \frac1{n_i!} =\frac{20!}{(4!)^3\,(3!)\,(2!)\,(1!)^3} =1.5\times10^{13}\\ p&=\left|{\mathfrak D}_{\msD}\right|/ \left|\mfS_{\msD}\right|\approx0.03\end{align*}$
La probabilità che una permutazione casuale di sia diffusa è di circa lo 0,01%, impostando la soglia arbitraria a circa . $P$ $\msD$ $s(P)<25$

Di seguito è riportato un diagramma della probabilità empirica di 100.000 campioni di cui è una permutazione casuale di . $s(P)$ $P$ $\msD$

A campioni di dimensioni medie, . $s(P)\sim \text{Gamma}(\alpha\approx8,\beta\approx18)$

$\begin{array}{ccl} P & s (P) & cdf (s (P)) \\ {1, 8, 2, 3, 4, 1, 5, 2, 3, 6, 1, 4, 2, 3, 7, 1, 5, 2, 4, 3} & \frac{11}{9} \approx 1 & < 10^{- 5} \\ {8, 2, 3, 4, 1, 6, 5, 2, 3, 4, 1, 7, 1, 2, 3, 5, 4, 1, 2, 3} & \frac{140}{9} \approx 16 & < 10^{- 4} \\ {3, 6, 5, 1, 3, 4, 2, 1, 2, 7, 8, 5, 2, 4, 1, 3, 3, 2, 1, 4} & \frac{650}{9} \approx 72 & 0.05 \\ {3, 1, 3, 4, 8, 2, 2, 1, 1, 5, 3, 3, 2, 6, 4, 4, 2, 1, 7, 5} & \frac{1223}{9} \approx 136 & 0.45 \\ {4, 1, 1, 4, 5, 5, 1, 3, 3, 7, 1, 2, 2, 4, 3, 3, 8, 2, 2, 6} & \frac{1697}{9} \approx 189 & 0.80 \end{array}$ $\begin{array}{ccl}\renewcommand\mfm[1]{\textbf{#1}} \hline P & s(P) & \text{cdf}(s(P)) \\ \hline \{\po, \ss8, \pt, \pth, \pf, \po, \pv, \pt, \pth, \ss6, \po, \pf, \pt, \pth, \ss7, \po, \pv, \pt, \pf, \pth\} & \frac{11}9\approx1\, & <10^{-5} \\ \{\ss8, \pt, \pth, \pf, \po, \ss6, \pv, \pt, \pth, \pf, \po, \ss7, \po, \pt, \pth, \pv, \pf, \po, \pt, \pth\} & \frac{140}9\approx16 & <10^{-4} \\ \{\pth, \ss6, \pv, \po, \pth, \pf, \pt, \po, \pt, \ss7, \ss8, \pv, \pt, \pf, \po, \pth, \pth, \pt, \po, \pf\} & \frac{650}9\approx72 & \phantom{<1}0.05 \\ \{\pth, \po, \pth, \pf, \ss8, \pt, \pt, \po, \po, \pv, \pth, \pth, \pt, \ss6, \pf, \pf, \pt, \po, \ss7, \pv\} & \frac{1223}9\approx136 & \phantom{<1}0.45 \\ \{\pf, \po, \po, \pf, \pv, \pv, \po, \pth, \pth, \ss7, \po, \pt, \pt, \pf, \pth, \pth, \ss8, \pt, \pt, \ss6\} & \frac{1697}9\approx189 & \phantom{<1}0.80 \\ \hline \end{array}$

La probabilità che siano valide due permutazioni casuali (sia diffusa che distorta) è di circa . $v\approx(0.03)(0.0001)^2\approx10^{-10}$

Algoritmi inefficienti

Un algoritmo "veloce" comune per generare un disordine casuale di un set è basato sul rifiuto:

do
     P ← random_permutation ( D )
fino a is_derangement ( D , P )
ritorno P

che richiede approssimativamente iterazioni, poiché ci sono all'incirca possibili variazioni. Tuttavia, un algoritmo randomizzato basato sul rifiuto non sarebbe efficace per questo problema, in quanto prenderebbe l'ordine delle iterazioni . $e$ $n!/e$ $1/v\approx10^{10}$

Nell'algoritmo utilizzato da Sage , un disordine casuale di un multiset "si forma scegliendo un elemento a caso dall'elenco di tutti i possibili disordini". Eppure anche questo è inefficiente, in quanto vi sono permutazioni valide per enumerare, e inoltre, uno avrebbe bisogno di un algoritmo solo per farlo comunque. $v\,|\mfS_{\msD}|^2\approx10^{16}$

Ulteriori domande

Qual è la complessità di questo problema? Può essere ridotto a qualsiasi paradigma familiare, come flusso di rete, colorazione dei grafici o programmazione lineare?

— hftf
fonte

Per quanto riguarda la tua definizione di "distanziati", non vuoi per con come sentinelle? Vale a dire, un singolo elemento dovrebbe essere nel mezzo, due dovrebbero suddividere la permutazione in terzi e così via.

d (i, j) - n / (n_{i} + 1)

$d(i,j) - n/(n_i + 1)$

0 \leq i \leq j \leq n + 1

$0 \leq i \leq j \leq n+1$

P_{0} = P_{n + 1} = i

$P_0 = P_{n+1} = i$

— Raffaello

Cosa succede se per il male (piccolo, ma abbastanza grande); abbiamo anche abbiamo diffuse permutazioni rispetto? Certamente non sopportiamo un cambiamento nel trovarne due squilibrati! Sembra che nessun elemento possa verificarsi più di volte.

S = {1^{n - k}, 2^{k}}

$S = \{ 1^{n-k}, 2^k\}$

k

$k$

n / 2

$n/2$

— Raffaello

Qual è il rapporto di tutte le coppie di permutazioni squilibrate tra tutte le coppie di permutazioni diffuse ? Allo stesso modo, tra tutte le coppie di permutazioni squilibrate, quante sono costituite da due diffuse? (Se uno dei due rapporti è "alto", possiamo concentrare i nostri sforzi su metà del processo, lasciando l'altro al rifiuto.)

— Raffaello

@Raphael (# 3a) Di 1 milione di permutazioni casuali di , queste 561 diffuse avevano . delle coppie sono squilibrate.

D

$\mathsf D$

s (P) \leq 30

$s(P)\le 30$

6118 / (\binom{561}{2}) = 6118 / 157080 \approx 3.9 %

$6118/\binom{561}{2}=6118/157080\approx3.9\%$

— hftf

@Raphael (# 3b) Di 10 milioni di coppie casuali di permutazioni di , 306893 coppie sono state squilibrate. Solo 29 di queste coppie avevano entrambe le permutazioni con . Ecco un istogramma ( valori ).

D

$\mathsf D$

s (P) \leq 50

$s(P)\le50$

— hftf

Risposte:

Un approccio: puoi ridurlo al seguente problema: Data una formula booleana , scegli un incarico uniformemente a caso tra tutti i compiti soddisfacenti di . Questo problema è NP-difficile, ma esistono algoritmi standard per generare un distribuito in modo approssimativamente uniforme, prendendo in prestito metodi dagli algoritmi #SAT. Ad esempio, una tecnica è quella di scegliere una funzione hash cui intervallo ha una dimensione accuratamente scelta (circa la stessa dimensione del numero di assegnazioni soddisfacenti di ), scegliere uniformemente a caso un valore all'interno dell'intervallo di $\varphi(x)$ $x$ $\varphi(x)$ $x$ $h$ $\varphi$ $y$ $h$ , quindi utilizzare un solutore SAT per trovare un compito soddisfacente per la formula . Per renderlo efficiente, puoi scegliere come una mappa lineare sparsa. $\varphi(x) \land (h(x)=y)$ $h$

Questo potrebbe essere sparare a una pulce con un cannone, ma se non hai altri approcci che sembrano praticabili, questo è uno che potresti provare.

— DW
fonte

trovandolo difficile da seguire.

è un valore booleano e

è una stringa binaria (insieme di variabili binarie)? quindi l'equazione finale significa ...?

φ (x)

$\varphi(x)$

h (x)

$h(x)$

— vzn,

alcune discussioni / analisi estese su questo problema sono iniziate in una chat cs con ulteriori retroscena che hanno scoperto un po 'di soggettività nei complessi requisiti del problema ma non hanno riscontrato alcun errore o svista. ¹

ecco un codice testato / analizzato che, rispetto all'altra soluzione basata su SAT, è relativamente "veloce e sporco" ma non banale / difficile da eseguire il debug. è vagamente basato concettualmente su uno schema di ottimizzazione pseudocasuale / avido locale in qualche modo simile ad esempio a 2-OPT per TSP . l'idea di base è quella di iniziare con una soluzione casuale che si adatti a qualche vincolo, e quindi perturbarla localmente per cercare miglioramenti, cercare avidamente miglioramenti e iterare attraverso di essi e terminare quando tutti i miglioramenti locali sono stati esauriti. un criterio di progettazione era che l'algoritmo doveva essere il più efficiente / evitare il più possibile il rifiuto.

esiste una ricerca sugli algoritmi di derangement [4] ad esempio utilizzati in SAGE [5] ma non sono orientati attorno a multiset.

la semplice perturbazione è solo "scambi" di due posizioni nella tupla (e). l'implementazione è in rubino. di seguito è riportato un riepilogo / note con riferimenti ai numeri di riga.

qb2.rb (gist-github)

l'approccio qui è di iniziare con due tuple squilibrate (n. 106) e quindi migliorare localmente / avidamente la dispersione (n. 107), combinate in un concetto chiamato derangesperse(n. 97), preservando lo squilibrio. notare che lo scambio di due stesse posizioni nella coppia di tuple preserva il disordine e può migliorare la dispersione e questo è (parte del) metodo / strategia di dispersione.

la derangesubroutine funziona da sinistra a destra sull'array (multiset) e scambia con elementi successivi nell'array in cui lo swap non è con lo stesso elemento (# 10). l'algoritmo ha esito positivo se, senza ulteriori swap nell'ultima posizione, le due tuple sono ancora squilibrate (n. 16).

ci sono 3 diversi approcci per cancellare le tuple iniziali. la seconda tupla p2viene sempre mescolata. si può iniziare con la tupla 1 ( p1) ordinata per a."primo ordine di poteri più alti" (# 128), b.ordine mischiato (# 127) c.e "primo ordine di poteri più bassi" ("ultimo ordine di poteri più alti") (# 126).

la routine di dispersione disperseè più coinvolta ma concettualmente non così difficile. usa nuovamente gli swap. piuttosto che cercare di ottimizzare la dispersione in generale su tutti gli elementi, cerca semplicemente di alleviare in modo iterativo l'attuale caso peggiore. l'idea è quella di trovare il 1 ^st elementi meno dispersi, da sinistra a destra. la perturbazione è scambiare gli elementi sinistro o destro ( x, yindici) della coppia meno dispersa con altri elementi ma mai nessuno tra la coppia (che ridurrebbe sempre la dispersione), e anche saltare il tentativo di scambiare con gli stessi elementi ( selectin # 71) . mè l'indice del punto medio della coppia (# 65).

tuttavia la dispersione viene misurata / ottimizzata su entrambe le tuple nella coppia (# 40) usando la dispersione "minima / più a sinistra" in ciascuna coppia (# 25, # 44).

i tentativi algoritmo per scambiare elementi "più lontani" 1 ^st ( sort_by / reverse# 71).

ci sono due diverse strategie true, falseper decidere se scambiare l'elemento sinistro o destro della coppia meno dispersa (# 80), o l'elemento sinistro per scambiare la posizione con l'elemento sinistro / destro sul lato destro, o l'elemento più lontano sinistro o destro nella coppia dispersa dall'elemento swap.

l'algoritmo termina (n. 91) quando non può più migliorare la dispersione (spostando la posizione di dispersione peggiore verso destra o aumentando la dispersione massima sull'intera coppia di tuple (n. 85)).

le statistiche sono emesse per scarti oltre c= 1000 disordinamenti sui 3 approcci (# 116) e c= 1000 derangesperses (# 97), esaminando i 2 algoritmi dispersi per una coppia squilibrata dal rifiuto (# 19, # 106). quest'ultimo traccia la dispersione media totale (dopo un declassamento garantito). una corsa di esempio è la seguente

c       0.661000
b       0.824000
a       0.927000
[2.484, 2, 4]
[2.668, 2, 4]

questo dimostra che l' a-truealgoritmo fornisce i migliori risultati con una non-reiezione del ~ 92% e una distanza dispersa media peggiore di ~ 2,6, e un minimo garantito di 2 su 1000 prove, vale a dire almeno 1 elemento non uguale interposto tra tutte le coppie dello stesso elemento. ha trovato soluzioni fino a 3 elementi intermedi non uguali.

l'algoritmo di derangement è pre-rifiuto del tempo lineare e l'algoritmo di dispersione (in esecuzione su input distorto) sembra essere probabilmente ~ . $O(n \log n)$

¹ il problema è trovare disposizioni di pacchetti di quizbowl che soddisfino il cosiddetto "feng shui" [1] o un ordinamento casuale "piacevole" in cui "bello" è in qualche modo soggettivo e non ancora "ufficialmente" quantificato; l'autore del problema lo ha analizzato / ridotto ai criteri di derange / dispersione basati sulla ricerca della comunità dei quizbowl e degli "esperti di feng shui". [2] ci sono idee diverse su "regole del feng shui". alcune ricerche "pubblicate" sono state fatte sugli algoritmi, ma appare nelle prime fasi. [3]

[1] Pacchetto feng shui / QBWiki

[2] Pacchetti quizbowl e feng shui / Lifshitz

[3] Posizionamento delle domande , forum del centro risorse di HSQuizbowl

[4] Generating Derangements casuali / Martinez, Panholzer, Prodinger

[5] Algoritmo di sage derangement (python) / McAndrew

— VZN
fonte

A proposito, ho pensato di più, c'è un problema tecnico nella routine del derange e non sempre lo scompone. la posizione di scambio può avanzare senza cambiare nulla. c'è una semplice soluzione per testare correttamente il successo.

— vzn,