Come ottenere i valori sconosciuti


19

Qualcuno può aiutarmi con il seguente problema?

Voglio trovare alcuni valori (mod ) dove (ad esempio ), dato un elenco di valori che corrisponde alle differenze (ad esempio ), senza conoscere la relazione concreta corrispondente. Poiché i valori a_i, b_j \ pmod N non sono definiti in modo univoco date le differenze a_i-b_j \ pmod N , cerchiamo qualsiasi assegnazione di valori valida.ai,bjNi=1,2,,K,j=1,2,,KK=6K2aibj(modN)N=251ai,bj(modN)aibj(modN)

Sicuramente, provare ogni permutazione dei numeri K2 nell'elenco (totalmente K2! Casi possibili) e quindi risolvere le equazioni modulari con ai,bj poiché le variabili sono impossibili.

In effetti, questo problema si pone in un documento sulla crittoanalisi ad una prima versione dello schema di firma NTRU ( http://eprint.iacr.org/2001/005 ). Tuttavia, l'autore ha scritto solo una frase "Un semplice algoritmo di backtrack trova una soluzione ..." (nella Sezione 3.3) e quindi chiunque può fornire ulteriori spiegazioni? Inoltre, l'autore ha anche detto che "ogni spostamento circolare {((ai+M)modN,(bi+M)modN}i=1K o uno swap ({(N1bi,N1ai)}i=1K) produce lo stesso modello di aibjmodN ”e questa affermazione è utile?


7
Si noti che è impossibile recuperare , poiché se si aggiunge una costante a tutti i numeri, le differenze rimangono invariate. Cai,bjC
Yuval Filmus,

1
@Yuval: questo è già incluso nell'ultima frase della descrizione. Penso che sia necessaria una sola soluzione, poiché ne potrebbero esistere diverse.
domotorp,

2
@Yuval Spiacente per non sottolineare che i ai,bj s’dovrebbero essere prese modulare N . Quindi non ci sono soluzioni infinite.
un ospite il

@domotorp Sì, trovare una delle soluzioni è OK.
un ospite il

1
Forse l'OP potrebbe chiarire che l' ai , bj modulo sono presi N precedenza nel post: forse nel titolo o nel primo paragrafo. Vale anche la pena menzionare il problema con la costante CEntrambe le cose mi hanno confuso quando ho iniziato a leggere.
Juan Bermejo Vega,

Risposte:


4

Ecco un suggerimento, per K=6 e N=251 . Ci viene fornito un elenco aibj(modN) . Inizia prendendo uno di essi, senza perdita di generalitàa1b1 . Senza perdita di generalitàb1=0 , e otteniamo il valore dia1 . Ora prendete un altro, e la speranza che sia di formaa2b1 (questo accade con probabilità5/35=1/7 ), e dedurnea2 .

In questa fase, conosciamo . Il nostro prossimo obiettivo è cercare un 1 - b j per j 1 . Per ogni candidato un I - b j , se i = 1 , allora ( un I - b j ) + ( un 2 - un 1 ) = a 2 - b j dovrebbe essere anche sulla lista. Se ioa1,a2,b1a1bjj1aibji=1(aibj)+(a2a1)=a2bj , allora la probabilità che ( una i - b j ) + ( un 2 - un 1 ) è anche sulla lista è di circa 33 / 251 . Quindi se troviamo un candidato a i - b j per il quale ( a i - b j ) + ( a 2 - a 1 ) è anche nell'elenco, allora probabilmente i = 1 . In questo modo, possiamo recuperarei1(aibj)+(a2a1)33/251aibj(aibj)+(a2a1)i=1 con una certa certezza.b2

In questa fase, conosciamo . Allo stesso modo in cui abbiamo recuperato b 2 , possiamo recuperare un 3 con ragionevole certezza. Possiamo quindi recuperare b 3 cercando un candidato a i - b j per il quale ( a i - b j ) + ( a 2 - a 1 ) e ( a i - ba1,a2,b1,b2b2a3b3aibj(aibj)+(a2a1) sono entrambi nell'elenco. Perché abbiamo più un s, la nostra probabilità di guasto va sensibilmente verso il basso. Continuiamo e troviamo b 3 , a 4 , b 4 , a 5 , b 6 , a 6 , b 6 .(aibj)+(a3a1)ab3,a4,b4,a5,b6,a6,b6

In qualsiasi momento di questo algoritmo, potremmo aver indovinato qualcosa di sbagliato, e questo alla fine si tradurrà in una contraddizione (diciamo ad un certo punto, non esiste un buon candidato ). Quindi torniamo indietro e proviamo un'altra possibilità; se esauriamo tutte le possibilità, torniamo indietro e proviamo un'altra possibilità (per un diverso stadio dell'algoritmo); e così via.aibj

È un buon esercizio programmare effettivamente questo algoritmo - questo è probabilmente l'unico modo per capire come implementare correttamente il backtracking. Questo è anche l'unico modo per dire se questo algoritmo funziona in pratica.


Grazie e codificherò anche questo backtracking per renderlo più chiaro. Forse l'autore di quel documento originale ha usato un metodo simile perché ha anche menzionato "backtrack".
un ospite il

Ci scusiamo per aver dimenticato di pubblicare il mio commento alla tua risposta! Ho anche implementato il metodo che hai suggerito (in C ++). La conclusione è che il tuo algoritmo funziona abbastanza bene e una delle soluzioni può essere trovata molto velocemente (in meno di un secondo sul mio PC). E questa volta, posso capire meglio le procedure di backtrack. Grazie mille!
un ospite

Perché non riesco a "@Yuval" nel mio ultimo commento ?! Scusa, ma ci ho provato più volte.
un ospite

Forse potresti condividere il codice online, in modo che altre persone che leggono il documento possano accedervi.
Yuval Filmus

5

Aggiornamento : la descrizione che segue è per un problema diverso (in cui si hanno tutte le distanze a coppie in un insieme anziché a coppie tra due insiemi distinti). Lo lascerò comunque poiché è strettamente correlato.

Questo problema è chiamato problema della circonvallazione ed è un caso speciale del problema generale dell'incorporamento di -torus. È anche strettamente correlato al problema del turnpike, in cui le differenze di distanza sono assolute (non modulo un numero).d

Non è noto se il problema della circonvallazione ammetta un algoritmo poly-time. Esistono vari algoritmi pseudo-poli-tempo per domande correlate. La migliore referenza (purtroppo una vecchia) è l'articolo di Lemke, Skiena e Smith .


1
Penso che questo problema sia diverso. Nel problema della tangenziale conosciamo tutte le distanze a coppie, qui lo conosciamo solo tra due punti che si trovano in gruppi diversi. Sebbene ciò sembri meno informazioni, in realtà può aiutare a risolvere il problema.
domotorp,

Ah sì. è un grafico bipartito. buon punto.
Suresh Venkat,

Grafico bipartito? Qualcosa di simile a. Forse dovrei provare il problema in questo modo, ma non ho il treno concreto del pensiero ora.
un ospite il

3

Ecco un'osservazione che penso ti dia un punto d'appoggio, forse abbastanza per risolverlo.

Supponiamo di avere quattro differenze , a 1 - b 2 , a 2 - b 1 , a 2 - b 2 che sorgono come differenze a coppie tra due a 's e due b ' s. Chiamalo un quartetto di differenze. Si noti che abbiamo una relazione non banale:a1b1a1b2a2b1a2b2ab

(a1b1)(a1b2)=(a2b1)(a2b2)(modN).

Puoi provare a usare questa relazione per identificare potenziali quartetti fuori dall'elenco di . Ad esempio, selezionare quattro differenze dall'elenco; se non soddisfano la relazione di cui sopra, sicuramente non derivano da una struttura a quartetto; se soddisfano la relazione, potrebbero derivare da un quartetto.K2

Ci sono molti modi in cui puoi prendere le cose da qui, ma sospetto che questo basti.

In particolare, sospetto che, per le impostazioni dei parametri di esempio, il problema sarà piuttosto semplice, poiché il test sopra riportato per riconoscere un quartetto probabilmente non avrà troppi falsi positivi. Il nostro di tutti modi di scegliere 4 differenze dalla lista, ci saranno ( K(K24)quartetti (che soddisfano tutti la relazione) e il resto sono non quartetti (che soddisfano la relazione con probabilità1/N, euristicamente). Pertanto ci aspettiamo di vedere circa((K2(K2)21/Nfalsi positivi, ovvero 4 tuple che superano il test anche se non sono quartetti. Per i tuoi parametri, questo significa che abbiamo 225 quartetti e(58905-225)/251234altri falsi positivi; quindi circa la metà delle 4 tuple che superano il test sono in realtà quartetti. Ciò significa che il test sopra riportato è un ottimo modo per riconoscere i quartetti. Una volta che puoi riconoscere i quartetti, puoi davvero andare in città per recuperare la struttura dell'elenco delle differenze.((K24)(K2)2)/N(58905225)/251234


@DW: Grazie, ma ora mi chiedo il prossimo passo dopo che saranno stati trovati tutti i possibili quartetti (totalmente 225 + 234 = 459). Dovrebbe cercare 3 quartetti non sovrapposti e verificare se possono costituire una possibile soluzione? Come realizzare questo in modo efficiente? Forse non è così difficile perché non ci saranno molte sovrapposizioni.
un ospite il

@aguest, bella domanda! Non riesco a ricordare cosa stavo pensando in quel momento. Penso di ricordare di aver pensato che un approccio potrebbe essere quello di iniziare con un quartetto, quindi cercare tutti gli altri che si sovrappongono in 2 differenze (ad esempio, derivanti da dove j 2 ), ma io non so dove andare da lì (come filtrare i falsi positivi). a1,aj,b1,b2j2
DW

3

Ecco un approccio diverso, basato sul trovare iterativamente numeri che non possono apparire tra . Chiamare un insieme A un over-approssimazione della un 's se sappiamo che { a 1 , ... , un 6 } A . Allo stesso modo, B è un overapproximation del b 's se sappiamo che { b 1 , ... , b 6 } B . Ovviamente, la più piccola A{a1,,a6}Aa{a1,,a6}ABb{b1,,b6}BA is, the more useful this over-approximation is, and the same goes for B. My approach is based upon iteratively refining these over-approximations, i.e., iteratively reducing the size of these sets (as we rule out more and more values as impossible).

The core of this approach is a method for refinement: given an over-approximation A for the a's and an over-approximation B for the b's, find a new over-approximation A for the a's such that AA. In particular, normally A will be smaller than A, so this lets us refine the over-approximation for the a's.

By symmetry, essentially the same trick will let us refine our over-approximation for the b's: given an over-approximation A for the a's and an over-approximation B for the b's, it will produce a new over-approximation B for the b's.

So, let me tell you how do refinement, then I'll put everything together to get a full algorithm for this problem. In what follows, let D denote the multi-set of differences, i.e., D={aibj:1i,j6}; we'll focus on finding a refined over-approximation A, given A,B.

How to compute a refinement. Consider a single difference dD. Consider the set d+B={d+y:yB}. Based on our knowledge that B is an over-approximation of the b's, we know that at least one element of d+B must be an element of {a1,,a6}. Therefore, we can treat each of the elements in d+B as a "suggestion" for a number to possibly include in A. So, let's sweep over all differences dD and, for each, identify which numbers are "suggested" by d.

Now I'm going to observe that the number a1 is sure to be suggested at least 6 times during this process. Why? Because the difference a1b1 is in D, and when we process it, a1 will be one of the numbers it suggests (since we're guaranteed that b1B, (a1b1)+B will surely include a1). Similarly, the difference a1b2 appears somewhere in D, and it'll cause a1 to be suggested again. In this way, we see that the correct value of a1 will be suggested at least 6 times. The same holds for a2, and a3, and so on.

So, let A be the set of numbers a that have been suggested at least 6 times. This is sure to be an over-approximation of the a's, by the above comments.

As an optimization, we can filter out all suggestions that are not present in A immediately: in other words, we can treat the difference d as suggesting all of the values (d+B)A. This ensures that we will have AA. We are hoping that A is strictly smaller than A; no guarantees, but if all goes well, maybe it will be.

Putting this together, the algorithm to refine A,B to yield A is as follows:

  1. Let S=dD(d+B)A. This is the multi-set of suggestions.

  2. Count how many times each value appears in S. Let A be the set of values that appear at least 6 times in S. (This can be implemented efficiently by building an array a of 251 initially, initially all zero, and each time the number s is suggested, you increment a[s]; at the end you sweep through a looking for elements whose value is 6 or larger)

A similar method can be built to refine A,B to get B. You basically reverse things above and flip some signs: e.g., instead of d+B, you look at d+A.

How to compute an initial over-approximation. To get our initial over-approximation, one idea is to assume (wlog) that b1=0. It follows that each value ai must appear somewhere among D, thus the list of differences D can be used as our initial over-approximation for the a's. Unfortunately, this doesn't give us a very useful over-approximation for the b's.

A better approach is to additionally guess the value of one of the a's. In other words, we assume (wlog) that b1=0, and use A=D as our initial over-approximation of the a's. Then, we guess which one of these 36 values is indeed one of the a's, say a1. That then gives us an over-approximation B=a1D for the b's. We use this initial over-approximation A,B, then iteratively refine it until convergence, and test whether the result is correct. We repeat up to 36 times, with 36 different guesses at a1 (on average 6 guesses should be enough) till we find one that works.

A full algorithm. Now we can have a full algorithm to compute a1,,a6,b1,,b6. Basically, we derive an initial over-approximation for A and B, then iteratively refine.

  1. Make a guess: For each zD, guess that a1=z. Do the following:

    1. Initial over-approximation: Define A=D and B=zD.

    2. Iterative refinement: Repeatedly apply the following until convergence:

      • Refine A,B to get a new over-approximation B of the b's.
      • Refine A,B to get a new over-approximation A of the a's.
      • Let A:=A and B:=B.
    3. Check for success: If the resulting sets A,B each have size 6, test whether they are a valid solution to the problem. If they are, stop. If not, continue with the loop over candidate values of z.

Analysis. Will this work? Will it eventually converge on A={a1,,a6} and B={b1,,b6}, or will it get stuck without completely solving the problem? The best way to find out is probably to test it. However, for your parameters, yes, I expect it will be effective.

If we use method #1, as long as |A|,|B| are not too large, heuristically I expect the sizes of the sets to monotonically shrink. Consider deriving A from A,B. Each difference d suggests |B| values; one of them correct, and the other |B|1 can be treated (heuristically) as random numbers. If x is a number that does not appear among the a's, what is the probability that it survives the filtering and is added to A? Well, we expect a to be suggested about (|B|1)×36/251 times in total (on average, with standard deviation about the square root of that). If |B|36, the probability that a wrong x survives the filtering should be about p=0.4 or so (using the normal approximation for the binomial, with continuity correction). (The probability is smaller if |B| is smaller; e.g., for |B|=30, I expect p0.25.) I expect the size of A to be about p(|A|6)+6, which will strictly improve the over-approximation since it is strictly smaller than |A|. For instance, if |A|=|B|=36, then based upon these heuristics I expect |A|18, which is a big improvement over |A|.

Therefore, I predict that the running time will be very fast. I expect about 3-5 iterations of refinement to be enough for convergence, typically, and about 6 guesses at z should probably be enough. Each refinement operation involves maybe a few thousand memory reads/writes, and we do that maybe 20-30 times. So, I expect this to be very fast, for the parameters you specified. However, the only way to find out for sure is to try it and see if it works well or not.


@DW: Thank you very much for your long answer and the effort you took to type so many words!!! According to your description, your algorithm here is quite correct. And I’m going to code it to test the efficiency right now.
a guest

@DW: Hi, I’ve implemented your description in C++. The algorithm runs fast and the refinement step does reduce the sizes of original sets A and B. However, the convergence seems to be not so perfect. In fact, for each guess zD, the final sizes of A and B are still more than 10 according to my record output by the program. The most frequent number of existing elements when A (and B) can not be improved by further repetitions of refinement is 11, but I can hardly see a number below 10. However, this has made the problem solvable by trying each 6-elements chosen from
a guest

@DW: (Cotinued)final A and B for each guess z (although I didn’t implement the last step on my PC). The total amount computation will be about 220, I estimate. Thank you very much!
a guest

Sorry, but my last comment is too long, and I have to split it into two.
a guest
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.