Modi per ricostruire pixel mescolati di un file video?

Supponiamo di avere un file video in cui l'ordine dei pixel è stato mischiato una volta. Cioè, un ordine casuale è stato definito una volta e applicato a tutti i frame.

Esiste un approccio noto per il recupero dell'ordine iniziale dei pixel?

Ho alcune idee sul recupero della topologia iniziale posizionando i pixel i cui valori sono correlati nello spazio e nel tempo più vicini. Mi chiedo se questo è stato studiato e se sono stati pubblicati algoritmi efficienti.

Anche questo problema può essere pensato come un modo per proiettare su una matrice 2D un insieme di valori che variano nel tempo per poter applicare le tecniche di visione artificiale (come la CNN), con il presupposto che questi valori siano in qualche modo correlati.

Questo è un affascinante problema combinatorio. Vorrei caratterizzare ogni pixel usando la sua traiettoria temporale completa, quindi incorporarli in una griglia usando i k vicini più vicini. Il vero obiettivo è massimizzare la probabilità che il video sia una sequenza di immagini naturali (della vita reale), che puoi testare con un classificatore, ma potresti riuscire a cavartela con un semplice costo; ad esempio, la somma delle differenze tra i pixel adiacenti. Una volta che hai iniziato a riempire la griglia, i vincoli di scorrevolezza ridurranno lo spazio di ricerca (poiché un pixel dovrà essere vicino a più altri pixel), accelerando così le cose, supponendo che tu stia utilizzando una struttura dati efficiente per interrogare i vicini più vicini; vedi ad esempio http://www.itu.dk/people/pagh/SSS/ann-benchmarks/

Non esiste una soluzione generale a ciò, anche se aggiungiamo alcune ipotesi sulla distribuzione, ad esempio, di colori e forme nelle immagini o di accoppiamento temporale, come ad esempio i fotogrammi consecutivi simili.

Problema

Permettere $F_1,\dots,F_i$ essere il $n$ cornici originali, ognuna con $m$pixel. Permettere$P$essere la permutazione che viene applicata ai pixel di ciascun fotogramma prima di ottenerli. Puoi pensare$P$ come libro di codice del nemico.

Ora, come input stiamo ricevendo $P(F_1),\dots,P(F_n)$. L'obiettivo è trovare la permutazione inversa$Q$per ripristinare le immagini. così$QP=I$ è la mappa dell'identità e per esempio $Q(P(F_1))=F_1$. Nota che non conosciamo nessuno dei frame corretti$F_i$.

Permettere $Q_1,...,Q_{m!}$ essere il $m!$ possibili funzioni di permutazione del $m$ pixel.

L'obiettivo è selezionare l'unico $j\in\{1,\dots,m!\}$ così che $Q_jP=I$.

Nessuna soluzione generale

Sotto il nostro modello statistico questo significa selezionare il $Q_j$ che massimizza la probabilità che $Q_j(P(F_i))$ è tratto dalla stessa distribuzione delle statistiche di riferimento per le immagini e delle statistiche temporali tra frame consecutivi $Q_j(P(F_{i})$ e $Q_j(P(F_{i+1})$ quale è la nostra conoscenza precedente.

C'è un contro-esempio canonico in cui il nemico ti regala un film confuso con due fotogrammi in cui tutti i pixel sono dello stesso colore, quindi$n=2$, $F_1=F_2$ e $Q_j(F_1)=Q_j(F_2)=F1=F2$ per ogni $j$. Quindi, per tutti$j$, le statistiche in-frame e inter-frame sono equiprobabili per ciascuna $j$ e non ci fornisce informazioni per selezionare la permutazione della massima verosimiglianza $Q_j$ (tranne nel caso degenerato in cui $m!=1$).

Pertanto, non possiamo garantire l'unicità e il problema è irrisolvibile senza ulteriori ipotesi.

Ulteriori ipotesi

È interessante vedere se siamo in grado di risolvere il problema aggiungendo ulteriori vincoli.

Se limitiamo il nemico a inviarci solo film "reali" e supponendo che ci siano abbastanza pixel e frame diversi da rendere unico $Q_j$ con la massima probabilità esiste, dovremmo comunque calcolare le statistiche per $O(m! \times n)$ frame permutati per trovare il massimo.

Questa è la rottura del codice della forza bruta.

Per beneficiare delle reti neurali, e in particolare della retro-propagazione, avremmo bisogno di una funzione di perdita differenziabile rispetto all'input (che è una codifica di $j$ o la nostra permutazione $Q_j$). La domanda quindi sarebbe vedere se tale funzione può essere trovata.

Altrimenti il ​​problema è più simile alla crittoanalisi nel caso speciale in cui sappiamo che il libro dei codici del nemico è una permutazione del testo in chiaro (o immagine in chiaro).