Come ottenere i valori sconosciuti

Qualcuno può aiutarmi con il seguente problema?

Voglio trovare alcuni valori (mod ) dove (ad esempio ), dato un elenco di valori che corrisponde alle differenze (ad esempio ), senza conoscere la relazione concreta corrispondente. Poiché i valori a_i, b_j \ pmod N non sono definiti in modo univoco date le differenze a_i-b_j \ pmod N , cerchiamo qualsiasi assegnazione di valori valida.$a_i,b_j$$N$$i=1,2,…,K, j=1,2,…,K$$K=6$$K^2$$a_i-b_j\pmod N$$N=251$$a_i,b_j\pmod N$$a_i-b_j\pmod N$

Sicuramente, provare ogni permutazione dei numeri $K^2$ nell'elenco (totalmente $K^2!$ Casi possibili) e quindi risolvere le equazioni modulari con $a_i,b_j$ poiché le variabili sono impossibili.

In effetti, questo problema si pone in un documento sulla crittoanalisi ad una prima versione dello schema di firma NTRU ( http://eprint.iacr.org/2001/005 ). Tuttavia, l'autore ha scritto solo una frase "Un semplice algoritmo di backtrack trova una soluzione ..." (nella Sezione 3.3) e quindi chiunque può fornire ulteriori spiegazioni? Inoltre, l'autore ha anche detto che "ogni spostamento circolare $\{((a_i+M)\mod N,(b_i+M)\mod N\}_{i=1}^K$ o uno swap $(\{(N-1-b_i,N-1-a_i)\}_{i=1}^K)$ produce lo stesso modello di $a_i-b_j\mod N$ ”e questa affermazione è utile?

Ecco un suggerimento, per $K = 6$ e $N = 251$ . Ci viene fornito un elenco $a_i - b_j \pmod{N}$ . Inizia prendendo uno di essi, senza perdita di generalità$a_1-b_1$ . Senza perdita di generalità$b_1=0$ , e otteniamo il valore di$a_1$ . Ora prendete un altro, e la speranza che sia di forma$a_2-b_1$ (questo accade con probabilità$5/35 = 1/7$ ), e dedurne$a_2$ .

In questa fase, conosciamo . Il nostro prossimo obiettivo è cercare un 1 - b j per j ≠ 1 . Per ogni candidato un I - b j , se i = 1 , allora ( un I - b j ) + ( un 2 - un 1 ) = a 2 - b j dovrebbe essere anche sulla lista. Se $a_1,a_2,b_1$$a_1-b_j$$j \neq 1$$a_i-b_j$$i=1$$(a_i-b_j)+(a_2-a_1)=a_2-b_j$ , allora la probabilità che ( una i - b j ) + ( un 2 - un 1 ) è anche sulla lista è di circa 33 / 251 . Quindi se troviamo un candidato a i - b j per il quale ( a i - b j ) + ( a 2 - a 1 ) è anche nell'elenco, allora probabilmente i = 1 . In questo modo, possiamo recuperare$i \neq 1$$(a_i-b_j)+(a_2-a_1)$$33/251$$a_i-b_j$$(a_i-b_j)+(a_2-a_1)$$i=1$ con una certa certezza.$b_2$

In questa fase, conosciamo . Allo stesso modo in cui abbiamo recuperato b 2 , possiamo recuperare un 3 con ragionevole certezza. Possiamo quindi recuperare b 3 cercando un candidato a i - b j per il quale ( a i - b j ) + ( a 2 - a 1 ) e ( a i - $a_1,a_2,b_1,b_2$$b_2$$a_3$$b_3$$a_i-b_j$$(a_i-b_j)+(a_2-a_1)$ sono entrambi nell'elenco. Perché abbiamo più un s, la nostra probabilità di guasto va sensibilmente verso il basso. Continuiamo e troviamo b 3 , a 4 , b 4 , a 5 , b 6 , a 6 , b 6 .$(a_i-b_j)+(a_3-a_1)$$a$$b_3,a_4,b_4,a_5,b_6,a_6,b_6$

In qualsiasi momento di questo algoritmo, potremmo aver indovinato qualcosa di sbagliato, e questo alla fine si tradurrà in una contraddizione (diciamo ad un certo punto, non esiste un buon candidato ). Quindi torniamo indietro e proviamo un'altra possibilità; se esauriamo tutte le possibilità, torniamo indietro e proviamo un'altra possibilità (per un diverso stadio dell'algoritmo); e così via.$a_i-b_j$

È un buon esercizio programmare effettivamente questo algoritmo - questo è probabilmente l'unico modo per capire come implementare correttamente il backtracking. Questo è anche l'unico modo per dire se questo algoritmo funziona in pratica.

Aggiornamento : la descrizione che segue è per un problema diverso (in cui si hanno tutte le distanze a coppie in un insieme anziché a coppie tra due insiemi distinti). Lo lascerò comunque poiché è strettamente correlato.

Questo problema è chiamato problema della circonvallazione ed è un caso speciale del problema generale dell'incorporamento di -torus. È anche strettamente correlato al problema del turnpike, in cui le differenze di distanza sono assolute (non modulo un numero).$d$

Non è noto se il problema della circonvallazione ammetta un algoritmo poly-time. Esistono vari algoritmi pseudo-poli-tempo per domande correlate. La migliore referenza (purtroppo una vecchia) è l'articolo di Lemke, Skiena e Smith .

Ecco un'osservazione che penso ti dia un punto d'appoggio, forse abbastanza per risolverlo.

Supponiamo di avere quattro differenze , a 1 - b 2 , a 2 - b 1 , a 2 - b 2 che sorgono come differenze a coppie tra due a 's e due b ' s. Chiamalo un quartetto di differenze. Si noti che abbiamo una relazione non banale:$a_1-b_1$$a_1-b_2$$a_2-b_1$$a_2-b_2$$a$$b$

Puoi provare a usare questa relazione per identificare potenziali quartetti fuori dall'elenco di . Ad esempio, selezionare quattro differenze dall'elenco; se non soddisfano la relazione di cui sopra, sicuramente non derivano da una struttura a quartetto; se soddisfano la relazione, potrebbero derivare da un quartetto.$K^2$

Ci sono molti modi in cui puoi prendere le cose da qui, ma sospetto che questo basti.

In particolare, sospetto che, per le impostazioni dei parametri di esempio, il problema sarà piuttosto semplice, poiché il test sopra riportato per riconoscere un quartetto probabilmente non avrà troppi falsi positivi. Il nostro di tutti modi di scegliere 4 differenze dalla lista, ci saranno (${K^2 \choose 4}$quartetti (che soddisfano tutti la relazione) e il resto sono non quartetti (che soddisfano la relazione con probabilità1/N, euristicamente). Pertanto ci aspettiamo di vedere circa((K${K \choose 2}^2$$1/N$falsi positivi, ovvero 4 tuple che superano il test anche se non sono quartetti. Per i tuoi parametri, questo significa che abbiamo 225 quartetti e(58905-225)/251≈234altri falsi positivi; quindi circa la metà delle 4 tuple che superano il test sono in realtà quartetti. Ciò significa che il test sopra riportato è un ottimo modo per riconoscere i quartetti. Una volta che puoi riconoscere i quartetti, puoi davvero andare in città per recuperare la struttura dell'elenco delle differenze.$({K^2 \choose 4}-{K \choose 2}^2)/N$$(58905-225)/251 \approx 234$

Ecco un approccio diverso, basato sul trovare iterativamente numeri che non possono apparire tra . Chiamare un insieme A un over-approssimazione della un 's se sappiamo che { a 1 , ... , un 6 } ⊆ A . Allo stesso modo, B è un overapproximation del b 's se sappiamo che { b 1 , ... , b 6 } ⊆ B . Ovviamente, la più piccola $\{a_1,\dots,a_6\}$$A$$a$$\{a_1,\dots,a_6\} \subseteq A$$B$$b$$\{b_1,\dots,b_6\} \subseteq B$$A$ is, the more useful this over-approximation is, and the same goes for $B$. My approach is based upon iteratively refining these over-approximations, i.e., iteratively reducing the size of these sets (as we rule out more and more values as impossible).

The core of this approach is a method for refinement: given an over-approximation $A$ for the $a$'s and an over-approximation $B$ for the $b$'s, find a new over-approximation $A^*$ for the $a$'s such that $A^* \subsetneq A$. In particular, normally $A^*$ will be smaller than $A$, so this lets us refine the over-approximation for the $a$'s.

By symmetry, essentially the same trick will let us refine our over-approximation for the $b$'s: given an over-approximation $A$ for the $a$'s and an over-approximation $B$ for the $b$'s, it will produce a new over-approximation $B^*$ for the $b$'s.

So, let me tell you how do refinement, then I'll put everything together to get a full algorithm for this problem. In what follows, let $D$ denote the multi-set of differences, i.e., $D=\{a_i-b_j:1 \le i,j \le 6\}$; we'll focus on finding a refined over-approximation $A^*$, given $A,B$.

How to compute a refinement. Consider a single difference $d \in D$. Consider the set $d+B=\{d+y : y \in B\}$. Based on our knowledge that $B$ is an over-approximation of the $b$'s, we know that at least one element of $d+B$ must be an element of $\{a_1,\dots,a_6\}$. Therefore, we can treat each of the elements in $d+B$ as a "suggestion" for a number to possibly include in $A$. So, let's sweep over all differences $d \in D$ and, for each, identify which numbers are "suggested" by $d$.

Now I'm going to observe that the number $a_1$ is sure to be suggested at least 6 times during this process. Why? Because the difference $a_1-b_1$ is in $D$, and when we process it, $a_1$ will be one of the numbers it suggests (since we're guaranteed that $b_1 \in B$, $(a_1-b_1)+B$ will surely include $a_1$). Similarly, the difference $a_1-b_2$ appears somewhere in $D$, and it'll cause $a_1$ to be suggested again. In this way, we see that the correct value of $a_1$ will be suggested at least 6 times. The same holds for $a_2$, and $a_3$, and so on.

So, let $A^*$ be the set of numbers $a^*$ that have been suggested at least 6 times. This is sure to be an over-approximation of the $a$'s, by the above comments.

As an optimization, we can filter out all suggestions that are not present in $A$ immediately: in other words, we can treat the difference $d$ as suggesting all of the values $(d+B)\cap A$. This ensures that we will have $A^* \subseteq A$. We are hoping that $A^*$ is strictly smaller than $A$; no guarantees, but if all goes well, maybe it will be.

Putting this together, the algorithm to refine $A,B$ to yield $A^*$ is as follows:

1. Let $S = \cup_{d \in D} (d+B)\cap A$. This is the multi-set of suggestions.

2. Count how many times each value appears in $S$. Let $A^*$ be the set of values that appear at least 6 times in $S$. (This can be implemented efficiently by building an array $a$ of 251 initially, initially all zero, and each time the number $s$ is suggested, you increment $a[s]$; at the end you sweep through $a$ looking for elements whose value is 6 or larger)

A similar method can be built to refine $A,B$ to get $B^*$. You basically reverse things above and flip some signs: e.g., instead of $d+B$, you look at $-d+A$.

How to compute an initial over-approximation. To get our initial over-approximation, one idea is to assume (wlog) that $b_1=0$. It follows that each value $a_i$ must appear somewhere among $D$, thus the list of differences $D$ can be used as our initial over-approximation for the $a$'s. Unfortunately, this doesn't give us a very useful over-approximation for the $b$'s.

A better approach is to additionally guess the value of one of the $a$'s. In other words, we assume (wlog) that $b_1=0$, and use $A=D$ as our initial over-approximation of the $a$'s. Then, we guess which one of these 36 values is indeed one of the $a$'s, say $a_1$. That then gives us an over-approximation $B=a_1-D$ for the $b$'s. We use this initial over-approximation $A,B$, then iteratively refine it until convergence, and test whether the result is correct. We repeat up to 36 times, with 36 different guesses at $a_1$ (on average 6 guesses should be enough) till we find one that works.

A full algorithm. Now we can have a full algorithm to compute $a_1,\dots,a_6,b_1,\dots,b_6$. Basically, we derive an initial over-approximation for $A$ and $B$, then iteratively refine.

1. Make a guess: For each $z \in D$, guess that $a_1=z$. Do the following:

   1. Initial over-approximation: Define $A=D$ and $B=z-D$.

   2. Iterative refinement: Repeatedly apply the following until convergence:

      • Refine $A,B$ to get a new over-approximation $B^*$ of the $b$'s.
      • Refine $A,B^*$ to get a new over-approximation $A^*$ of the $a$'s.
      • Let $A:= A^*$ and $B:= B^*$.

   3. Check for success: If the resulting sets $A,B$ each have size 6, test whether they are a valid solution to the problem. If they are, stop. If not, continue with the loop over candidate values of $z$.

Analysis. Will this work? Will it eventually converge on $A=\{a_1,\dots,a_6\}$ and $B=\{b_1,\dots,b_6\}$, or will it get stuck without completely solving the problem? The best way to find out is probably to test it. However, for your parameters, yes, I expect it will be effective.

If we use method #1, as long as $|A|,|B|$ are not too large, heuristically I expect the sizes of the sets to monotonically shrink. Consider deriving $A^*$ from $A,B$. Each difference $d$ suggests $|B|$ values; one of them correct, and the other $|B|-1$ can be treated (heuristically) as random numbers. If $x$ is a number that does not appear among the $a$'s, what is the probability that it survives the filtering and is added to $A^*$? Well, we expect $a$ to be suggested about $(|B|-1) \times 36/251$ times in total (on average, with standard deviation about the square root of that). If $|B|\le 36$, the probability that a wrong $x$ survives the filtering should be about $p=0.4$ or so (using the normal approximation for the binomial, with continuity correction). (The probability is smaller if $|B|$ is smaller; e.g., for $|B|=30$, I expect $p\approx 0.25$.) I expect the size of $A^*$ to be about $p (|A|-6) + 6$, which will strictly improve the over-approximation since it is strictly smaller than $|A|$. For instance, if $|A|=|B|=36$, then based upon these heuristics I expect $|A^*|\approx 18$, which is a big improvement over $|A|$.

Therefore, I predict that the running time will be very fast. I expect about 3-5 iterations of refinement to be enough for convergence, typically, and about 6 guesses at $z$ should probably be enough. Each refinement operation involves maybe a few thousand memory reads/writes, and we do that maybe 20-30 times. So, I expect this to be very fast, for the parameters you specified. However, the only way to find out for sure is to try it and see if it works well or not.