Misura entropia / informazioni / schemi di una matrice binaria 2d

Voglio misurare l'entropia / la densità di informazioni / la somiglianza del modello di una matrice binaria bidimensionale. Vorrei mostrare alcune immagini per chiarimenti:

Questo display dovrebbe avere un'entropia piuttosto elevata:

UN)

Questo dovrebbe avere entropia media:

B)

Queste immagini, infine, dovrebbero avere tutte un'entropia quasi zero:

C)

D)

E)

C'è qualche indice che cattura l'entropia, resp. la "somiglianza di modello" di questi display?

Ovviamente, ogni algoritmo (ad es. Algoritmi di compressione o algoritmo di rotazione proposto da ttnphns ) è sensibile ad altre caratteristiche del display. Sto cercando un algoritmo che tenti di acquisire le seguenti proprietà:

• Simmetria rotazionale e assiale
• La quantità di clustering
• ripetizioni

Forse più complicato, l'algoritmo potrebbe essere sensibile alle proprietà del " principio Gestalt " psicologico , in particolare:

• La legge di prossimità:
• La legge della simmetria: le immagini simmetriche sono percepite collettivamente, nonostante la distanza:

Ai display con queste proprietà dovrebbe essere assegnato un "valore di entropia basso"; ai display con punti piuttosto casuali / non strutturati dovrebbe essere assegnato un "valore di entropia elevato".

Sono consapevole che molto probabilmente nessun singolo algoritmo acquisirà tutte queste funzionalità; pertanto sono ben accetti suggerimenti per algoritmi che riguardano solo alcune o anche solo una singola funzionalità.

In particolare, sto cercando algoritmi concreti, esistenti o idee specifiche e attuabili (e assegnerò la ricompensa secondo questi criteri).

C'è una semplice procedura che cattura tutta l'intuizione, compresi gli elementi psicologici e geometrici. Si basa sull'utilizzo della prossimità spaziale , che è la base della nostra percezione e fornisce un modo intrinseco per catturare ciò che viene misurato solo imperfettamente dalle simmetrie.

Per fare ciò, dobbiamo misurare la "complessità" di questi array a varie scale locali. Sebbene abbiamo molta flessibilità nello scegliere quelle scale e nel senso in cui misuriamo la "prossimità", è abbastanza semplice ed efficace abbastanza da usare piccoli quartieri quadrati e guardare le medie (o, equivalentemente, somme) al loro interno. A tal fine, una sequenza di matrici può essere derivata da qualsiasi matrice by formando somme di vicinato in movimento usando per quartieri, quindi per , ecc., Fino a per (anche se a quel punto di solito ci sono troppo pochi valori per fornire qualcosa di affidabile).$m$$n$$k=2$$2$$3$$3$$\min(n,m)$$\min(n,m)$

Per vedere come funziona questo, cerchiamo di fare i calcoli per gli array in questione, che chiamerò attraverso , da cima a fondo. Ecco i grafici delle somme mobili per ( è l'array originale, ovviamente) applicato a .$a_1$ k = 1 , 2 , 3 , 4 k = 1 a $a_5$$k=1,2,3,4$$k=1$$a_1$

In senso orario da in alto a sinistra, uguale a , , e . Le matrici sono per , quindi per , per e per , rispettivamente. Sembrano tutti "casuali". Misuriamo questa casualità con la loro entropia di base 2. Per , la sequenza di queste entropie è . Chiamiamo questo "profilo" di .1 2 4 3 5 5 4 4 2 $k$$1$$2$$4$$3$$5$$5$$4$$4$$2$$2$$3$$3$$a_1$$(0.97, 0.99, 0.92, 1.5)$$a_1$

Ecco, al contrario, le somme mobili di :$a_4$

Per c'è poca variazione, da cui bassa entropia. Il profilo è . I suoi valori sono costantemente inferiori ai valori di , a conferma del senso intuitivo che esiste un forte "modello" presente in .$k=2, 3, 4$$(1.00, 0, 0.99, 0)$$a_1$$a_4$

Abbiamo bisogno di un quadro di riferimento per l'interpretazione di questi profili. Un array perfettamente casuale di valori binari avrà circa la metà dei suoi valori pari a e l'altra metà uguale a , per un'entropia di . Le somme mobili all'interno dei quartieri per tenderanno ad avere distribuzioni binomiali, dando loro prevedibili entropie (almeno per array di grandi dimensioni) che possono essere approssimate di :$0$$1$$1$$k$$k$$1 + \log_2(k)$

Questi risultati sono confermati dalla simulazione con matrici fino a . Tuttavia, si rompono per piccoli array (come gli array per qui) a causa della correlazione tra le finestre vicine (una volta che la dimensione della finestra è circa la metà delle dimensioni dell'array) e a causa della piccola quantità di dati. Ecco un profilo di riferimento di array casuali per generati dalla simulazione insieme a grafici di alcuni profili effettivi:$m=n=100$$5$$5$$5$$5$

In questo grafico il profilo di riferimento è blu fisso. I profili dell'array corrispondono a : rosso, : oro, : verde, : azzurro. (Includere oscurerebbe l'immagine perché è vicino al profilo di .) Complessivamente i profili corrispondono all'ordinamento nella domanda: si abbassano alla maggior parte dei valori di quando l'apparente ordinamento aumenta. L'eccezione è : fino alla fine, per , le sue somme mobili tendono ad avere tra le entropie più basse. Ciò rivela una regolarità sorprendente: ogni quartiere per in$a_1$$a_2$$a_3$$a_4$$a_5$$a_4$$k$$a_1$$k=4$$2$$2$$a_1$ ha esattamente o quadrati neri, mai più o meno. È molto meno "casuale" di quanto si possa pensare. (Ciò è in parte dovuto alla perdita di informazioni che accompagna la somma dei valori in ciascun quartiere, una procedura che condensa possibili configurazioni di quartiere in solo diverse possibili somme. Se volessimo rendere conto in modo specifico per il raggruppamento e l'orientamento all'interno di ciascun vicinato, quindi invece di utilizzare somme in movimento utilizzeremmo concatenazioni in movimento. Cioè, ogni per vicinato ha$1$$2$$2^{k^2}$$k^2+1$$k$$k$$2^{k^2}$possibili diverse configurazioni; distinguendoli tutti, possiamo ottenere una misura più fine di entropia. Sospetto che una tale misura eleverebbe il profilo di rispetto alle altre immagini.)$a_1$

Questa tecnica di creazione di un profilo di entropie su un intervallo controllato di scale, sommando (o concatenando o combinando altrimenti) valori all'interno di quartieri in movimento, è stata utilizzata nell'analisi delle immagini. È una generalizzazione bidimensionale dell'idea ben nota di analizzare il testo prima come una serie di lettere, quindi come una serie di digrafi (sequenze di due lettere), quindi come trigrafi, ecc. Ha anche alcune evidenti relazioni con il frattale analisi (che esplora le proprietà dell'immagine su scale sempre più fini). Se ci prendiamo cura di usare una somma che sposta i blocchi o concatena i blocchi (quindi non ci sono sovrapposizioni tra le finestre), si possono derivare semplici relazioni matematiche tra le entropie successive; però,

Sono possibili varie estensioni. Ad esempio, per un profilo invariante a rotazione, utilizzare i quartieri circolari anziché quelli quadrati. Tutto si generalizza oltre gli array binari, ovviamente. Con matrici sufficientemente grandi si possono persino calcolare profili di entropia variabili localmente per rilevare la non stazionarietà.

Se si desidera un singolo numero, anziché un intero profilo, scegliere la scala a cui interessa la casualità spaziale (o la sua mancanza). In questi esempi, quella scala corrisponderebbe meglio a un vicinato in movimento per o per , perché per il loro modello si basano tutti su raggruppamenti che si estendono da tre a cinque celle (e un vicinato per una media di tutte le variazioni nel array e quindi è inutile). In quest'ultima scala, le entropie da a sono , , , e$3$$3$$4$$4$$5$$5$$a_1$$a_5$$1.50$$0.81$$0$$0$$0$ ; l'entropia attesa su questa scala (per un array uniformemente casuale) è . Ciò giustifica la sensazione che "dovrebbe avere un'entropia piuttosto elevata". Per distinguere , e , che sono legati con entropia su questa scala, guarda la successiva risoluzione più fine ( per quartieri): le loro entropie sono rispettivamente , , (mentre una griglia casuale dovrebbe ha un valore di ). Con queste misure, la domanda originale pone le matrici esattamente nell'ordine giusto.$1.34$$a_1$$a_3$$a_4$$a_5$$0$$3$$3$$1.39$$0.99$$0.92$$1.77$

Innanzitutto, il mio suggerimento è puramente intuitivo: non so nulla nel campo del riconoscimento di schemi. In secondo luogo, si potrebbero formulare dozzine alternative come la mia.

Comincio con l'idea che una configurazione regolare (cioè con bassa entropia) dovrebbe essere in qualche modo simmetrica, isomorfa a questo o ai suoi tranformanti. Ad esempio, nelle rotazioni.

È possibile ruotare (capovolgere di 90 gradi, di 180 gradi, ecc.) La matrice fino a quando la configurazione non coincide con quella originale . Concorderà sempre su 4 rotazioni (360 gradi), ma a volte può concordare prima (come la matrice E nella foto).

Ad ogni rotazione, contare il numero di celle con valori non identici tra la configurazione originale e quella ruotata. Ad esempio, se si confronta la matrice originale A con la sua rotazione di 90 gradi, si scopriranno 10 celle in cui è presente un punto in una matrice e vuoto nell'altra matrice. Quindi confronta la matrice originale con la sua rotazione di 180 gradi: verranno trovate 11 celle di questo tipo. 10 celle è la discrepanza tra la matrice originale A e la sua rotazione di 270 gradi. 11 + 10 + 10 = 31 la "entropia" complessivo di matrice A .

Per la matrice B l '"entropia" è 20, e per la matrice E è solo 12. Per le matrici C e D "entropia" è 0 perché le rotazioni si fermano dopo 90 gradi: isomorfismo già raggiunto.

Le informazioni sono comunemente definite come . C'è una buona teoria che spiega che è la quantità di bit necessari per codificare usando . Se vuoi saperne di più su questo, leggi la codifica aritmetica .$h(x) = \log p(x)$$\log_2 p(x)$$x$$p$

Quindi come può risolvere il tuo problema? Facile. Trova qualche che rappresenti i tuoi dati e usa dove è un nuovo campione come misura di sorpresa o informazione per incontrarli.$p$$-\log p(x)$$x$

La cosa difficile è trovare un modello per e generare i tuoi dati. Forse puoi inventare un algoritmo che genera matrici che ritieni "probabili".$p$

Alcune idee per il montaggio .$p$

1. Se stai guardando solo matrici 5x5, hai solo bisogno di bit per memorizzare tutte le matrici possibili, quindi puoi semplicemente elencarle tutte e assegnare una certa probabilità a ciascuna.$2^{25}$
2. Usa una macchina Boltzmann con restrizioni per adattare i tuoi dati (quindi dovresti usare l'energia gratuita come sostituto delle informazioni, ma va bene),
3. Usa zip come sostituto di e non preoccuparti dell'intera storia di probabilità dall'alto. Va anche formalmente bene, perché usi zip come approssimazione alla complessità di Kolmogorov e questo è stato fatto dai teorici dell'informazione portando anche alla distanza di compressione normalizzata ,$-\log p(x)$
4. Forse usare un modello grafico per includere credenze spaziali precedenti e usare le variabili di Bernoulli localmente.
5. Per codificare l'invarianza traslazionale, è possibile utilizzare un modello basato sull'energia utilizzando una rete convoluzionale .

Alcune delle idee di cui sopra sono piuttosto pesanti e provengono dall'apprendimento automatico. Nel caso in cui desideri ulteriori consigli, utilizza i commenti.

La mia proposta seguente è piuttosto approfondita che dedotta, quindi non posso provarlo, ma posso almeno offrire qualche logica. La procedura di valutazione dell '"entropia" della configurazione dei punti comprende:

1. Digitalizza i punti.
2. Effettuare il confronto della configurazione con se stesso consentito, molte volte, dall'analisi ortogonale dei Procrustes .
3. Traccia i risultati dei confronti (coefficiente di identità) e valuta il frastuono della trama.

Digitalizza i punti , ovvero prendi le loro coordinate. Ad esempio, di seguito è riportata la configurazione D con punti numerati (l'ordine di numerazione può essere arbitrario) e le relative coordinate.

spot x   y
1   1   1
2   3   1
3   5   1
4   2   2
5   4   2
6   1   3
7   3   3
8   5   3
9   2   4
10  4   4
11  1   5
12  3   5
13  5   5

Esegui permutazioni ed esegui analisi Procrustes. Permettere spot (righe nei dati) in modo casuale ed eseguire il confronto Procrustes dei dati originali (non permutati) con quelli permutati; registra il coefficiente di identità (misura della somiglianza delle due configurazioni, prodotto dall'analisi). Ripeti permutazione - Procrustes - salvando il coefficiente, molte volte (ad es. 1000 volte o più).

Cosa possiamo aspettarci dai coefficienti di identità (IDc) ottenuti dopo l'operazione sopra descritta su una struttura regolare ?Consideriamo ad esempio la configurazione precedente D. Se confrontiamo le coordinate originali impostate con se stesso, otterremo ovviamente IDc = 1. Ma se permutiamo alcuni punti, l'IDc tra il set originale e il permutato sarà un valore inferiore a 1. Permettiamo, per esempio, una coppia di punti, etichettati 1 e 4. IDc = .964. Adesso, invece, permuta i punti 3 e 5. È interessante notare che IDc sarà di nuovo .964. Lo stesso valore, perché? I punti 3 e 5 sono simmetrici a 1 e 4, in modo che la rotazione a 90 gradi li sovrapponga. Il confronto di Procrustes è insensibile alla rotazione o alla riflessione, e quindi la permutazione all'interno della coppia 1-4 è la "stessa" della permutazione all'interno della coppia 5-3, per questo. Per aggiungere un altro esempio, se permuti solo i punti 4 e 7, IDc sarà di nuovo .964! Sembra che per Procrustes, la permutazione all'interno della coppia 4-7 sia la "stessa" come i due precedenti, nel senso che dà lo stesso grado di somiglianza (come misurato da IDc). Ovviamente, tutto questo perché la configurazione D è regolare.Per una configurazione regolare prevediamo di ottenere valori piuttosto discreti di IDc nel nostro esperimento di permutazione / confronto; mentre per una configurazione irregolare ci aspettiamo che i valori tenderanno ad essere continui.

Traccia i valori IDc registrati. Ad esempio, ordina i valori e crea un grafico a linee. Ho fatto l'esperimento - 5000 permutazioni - con ognuna delle tue configurazioni A, B (entrambe piuttosto irregolari), D, E (entrambe regolari) ed ecco la trama della linea:

Nota quanto più frastagliate sono le linee D ed E (in particolare D). Ciò è dovuto alla discrezione dei valori. I valori per A e B sono molto più continui. Puoi scegliere un tipo di statistica che stima il grado di discrezione / continuità, invece di tracciare. A sembra non più continuo di B (per te, la configurazione A è in qualche modo meno regolare, ma il mio diagramma di linea sembra non dimostrarlo) o, in caso contrario, forse mostra un po 'un altro modello di valori IDc. Quale altro modello? Questo va oltre lo scopo della mia risposta. La grande domanda se A sia effettivamente meno regolare di B: potrebbe essere per il tuo occhio, ma non necessariamente per l'analisi di Procrustes o dell'occhio di un'altra persona.

A proposito, l'intero esperimento di permutazione / Procrustes che ho fatto molto rapidamente. Ho usato la mia macro di analisi Procrustes per SPSS (trovata sulla mia pagina Web) e ho aggiunto alcune righe di codice per eseguire permutazioni.

Le informazioni reciproche, considerando ogni dimensione come una variabile casuale, quindi ogni matrice come un insieme di coppie di numeri, dovrebbero aiutare in tutti i casi, ad eccezione di C, dove non sono sicuro del risultato.

Vedere la discussione intorno a Fig 8 (a partire da p24) sull'analisi delle prestazioni di regressione nel manuale TMVA o la voce corrispondente arxiv .

Invece di guardare le proprietà globali del modello (come le simmetrie), si può dare un'occhiata a quelle locali, ad esempio il numero di vicini che ogni pietra (= cerchio nero) ha. Indichiamo il numero totale di pietre per .$s$

Se le pietre venivano lanciate a caso, la distribuzione dei vicini è dove è la densità delle pietre. Il numero di posti dipende se una pietra si trova all'interno ( ), sul bordo ( ) o sull'angolo .

È chiaramente visibile che la distribuzione dei vicini in C) , D) ed E) è tutt'altro che casuale. Ad esempio, per D) tutte le pietre interne hanno esattamente vicini (opposti alla distribuzione casuale, che produce in invece che misurato ).$4$$\approx (0\%,2\%,9\%,20\%,27\%,24\%,13\%,4\%,0\%)$$(0\%,0\%,0\%,0\%,100\%,0\%,0\%,0\%,0\%)$

Quindi per quantificare se uno schema è casuale è necessario confrontare la sua distribuzione dei vicini e confrontarlo con uno casuale . Ad esempio puoi confrontare i loro mezzi e le loro varianze.$P_{measured}(k|n)$$P_{rand,p}(k|n)$

In alternativa, si possono misurare le loro distanze negli spazi delle funzioni, ad esempio: dove è il rapporto misurato di punti con spazi adiacenti e è il predetto per un modello casuale, ovvero , e .

C'è un modo davvero semplice di concettualizzare il contenuto informativo che si rifà all'idea di Shannon (dichiaratamente unidimensionale) usando le probabilità e le probabilità di transizione per trovare una rappresentazione meno ridondante di una stringa di testo. Per un'immagine (in questo caso particolare un'immagine binaria definita su una matrice quadrata) possiamo ricostruire in modo univoco da una conoscenza delle derivate xey (-1,0, + 1). Possiamo definire una probabilità di transizione 3x3 e una funzione di densità di probabilità globale, anche 3x3. Le informazioni di Shannon sono quindi ottenute dalla classica formula di sommatoria logaritmica applicata su 3x3. Questa è una misura di informazione di Shannon del secondo ordine e cattura bene la struttura spaziale nel pdf 3x3.

Questo approccio è più intuitivo se applicato a immagini in scala di grigio con più di 2 livelli (binari), vedere https://arxiv.org/abs/1609.01117 per maggiori dettagli.

Nel leggere questo, mi vengono in mente due cose. Il primo è che molte delle proprietà della gestalt sono piuttosto difficili da prevedere e un sacco di lavoro a livello di dottorato va nel tentativo di capire i modelli di come si svolgono i raggruppamenti. Il mio istinto è che le regole più semplici a cui potresti pensare finiranno con contro esempi.

Se per ora puoi mettere da parte la descrizione dei raggruppamenti di gestalt, penso che un'astrazione utile sia pensare al tuo input come a un caso speciale di un'immagine. Ci sono molti algoritmi nella visione artificiale che mirano ad assegnare una firma a un'immagine basata su un insieme di funzioni che sono invarianti in scala e invarianti in funzione. Penso che le più note siano le funzionalità SIFT:

http://en.wikipedia.org/wiki/Scale-invariant_feature_transform

Fondamentalmente l'output sarà un nuovo vettore che fornisce i pesi per queste funzionalità. Puoi usare questo vettore e applicare un euristico ad esso (forse trovare la norma) e sperare che descriva ciò che stai cercando. In alternativa, potresti addestrare un classificatore a prendere il vettore della caratteristica come input e dirgli qual è la tua impressione della sua "entropia". L'aspetto positivo di questo è che utilizzerà le funzionalità SIFT appropriate (che sono decisamente eccessive per il tuo problema) e costruirà una sorta di mappatura che potrebbe benissimo essere appropriata. Il rovescio della medaglia è che devi fare molto dell'etichettatura da solo, e ciò che ottieni potrebbe essere più difficile da interpretare, a seconda del classificatore che usi.

Spero che questo sia utile! Molti algoritmi di visione artificiale tradizionali possono anche essere appropriati per te qui: una rapida navigazione attraverso Wikipedia in quel portale può darti qualche informazione aggiuntiva.

I tuoi esempi mi ricordano le tabelle di verità dell'algebra booleana e dei circuiti digitali. In questo ambito, le mappe Karnaugh (http://en.wikipedia.org/wiki/Karnaugh_map) possono essere utilizzate come strumento per fornire la minima funzione booleana per esprimere l'intera griglia. In alternativa, l'uso delle identità algebriche booleane può aiutare a ridurre la funzione alla sua forma minima. Il conteggio del numero di termini nella funzione booleana minimizzata potrebbe essere usato come misura dell'entropia. Questo ti dà la simmetria verticale e orizzontale insieme alla compressione dei vicini adiacenti, ma manca di simmetria diagonale.

Usando l'algebra booleana, entrambi gli assi sono etichettati da AE a partire dall'angolo in alto a sinistra. In questo modo, l'esempio C verrebbe mappato alla funzione booleana (! A &! E). Per altri esempi, gli assi dovrebbero essere etichettati separatamente (cioè AE, FJ).

Vorrei sottolineare il rango della matrice utilizzata nella fattorizzazione a matrice binaria come indicatore dell'entropia. Sebbene il calcolo esatto sia NP-difficile , il grado può essere stimato in tempo O (log2n) .

Vorrei solo sottolineare che il confronto con il metodo a 3 rotazioni e 4 riflessioni ha un vero difetto.

Per una matrice con un numero dispari di righe / colonne, ci sarà una riga o colonna centrale che si sovrapporrà con i dati originali in rotazioni / riflessioni che provocherà una riduzione della quantità di entropia.

Inoltre, per la riflessione nella posizione di 90 e 270 gradi, tutte le diagonali si sovrapporranno riducendo anche l'entropia. Quindi questa perdita dovrebbe essere presa in considerazione.