Scienza del computer entropy

7

I PRNG possono essere usati per comprimere magicamente roba?

Questa idea mi è venuta in mente da bambino che impara a programmare e al primo incontro con PRNG. Non so ancora quanto sia realistico, ma ora c'è lo scambio di stack. Ecco uno schema di 14 anni per un incredibile algoritmo di compressione: Prendi un PRNG e seminalo con …

38 information-theory randomness data-compression pseudo-random-generators entropy

6

Gli algoritmi di compressione senza perdita riducono l'entropia?

Secondo Wikipedia : L'entropia di Shannon misura le informazioni contenute in un messaggio in contrapposizione alla parte del messaggio determinata (o prevedibile). Esempi di quest'ultimo includono la ridondanza nella struttura del linguaggio o le proprietà statistiche relative alle frequenze di occorrenza di coppie di lettere o di parole, terzine, ecc. …

35 information-theory data-compression entropy

2

Simulazione di una probabilità di 1 di 2 ^ N con meno di N bit casuali

Di 'che devo simulare la seguente distribuzione discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} Il modo più ovvio è disegnare bit casuali e verificare se tutti sono uguali a (o …

31 algorithms information-theory randomness pseudo-random-generators entropy

7

Esiste una connessione tra il problema dell'arresto e l'entropia termodinamica?

Alan Turing ha proposto un modello per una macchina (la Turing Machine, TM) che calcola (numeri, funzioni, ecc.) E ha dimostrato il Teorema di Halting . Una TM è un concetto astratto di una macchina (o motore se vuoi). Il teorema di Halting è un risultato impossibile. Un Carnot Engine …

31 turing-machines halting-problem entropy

11

La casualità di von Neumann tra virgolette non è più applicabile?

Qualcuno ha detto quanto segue: Chiunque tenti di generare numeri casuali con mezzi deterministici, ovviamente, vive in uno stato di peccato. Questo significa sempre che non puoi generare veri numeri casuali con un solo computer. E ha detto che quando i computer avevano le dimensioni equivalenti di un singolo microprocessore …

25 randomness data-compression entropy random-number-generator

2

In che modo un sistema operativo crea entropia per semi casuali?

Su Linux, i file /dev/randome i/dev/urandom file sono le fonti bloccanti e non bloccanti (rispettivamente) di byte pseudo-casuali. Possono essere letti come file normali: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2 bcbe 0000020 f841 bd90 9e7c 5be2 …

19 operating-systems cryptography randomness security entropy

2

Cosa c'è di più difficile: mescolare un mazzo ordinato o ordinarne uno mischiato?

Hai una matrice di elementi distinti. Hai accesso a un comparatore (una funzione di scatola nera che prende due elementi e e restituisce vero iff ) e una fonte di bit veramente casuale (una funzione di scatola nera che non prende argomenti e restituisce un bit casuale uniformemente indipendente). Considera …

18 algorithms algorithm-analysis information-theory permutations entropy

3

Entropia di Shannon di 0,922, 3 valori distinti

Data una stringa di valori , l'entropia di Shannon nella base di log arriva a . Da quanto ho capito, nella base l'entropia di Shannon arrotondata per eccesso è il numero minimo di bit in binario per rappresentare un singolo dei valori.AAAAAAAABCAAAAAAAABCAAAAAAAABC2220.9220.9220.922222 Tratto dall'introduzione su questa pagina di Wikipedia: https://en.wikipedia.org/wiki/Entropy_%28information_theory%29 …

14 information-theory mathematical-foundations entropy binary

1

Inferenza dei tipi di perfezionamento

Al lavoro mi è stato assegnato il compito di dedurre alcune informazioni sul tipo di un linguaggio dinamico. Riscrivo sequenze di affermazioni in letespressioni nidificate , in questo modo: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let …

11 programming-languages logic type-theory type-inference machine-learning data-mining clustering order-theory reference-request information-theory entropy algorithms algorithm-analysis space-complexity lower-bounds formal-languages computability formal-grammars context-free parsing complexity-theory time-complexity terminology turing-machines nondeterminism programming-languages semantics operational-semantics complexity-theory time-complexity complexity-theory reference-request turing-machines machine-models simulation graphs probability-theory data-structures terminology distributed-systems hash-tables history terminology programming-languages meta-programming terminology formal-grammars compilers algorithms search-algorithms formal-languages regular-languages complexity-theory satisfiability sat-solvers factoring algorithms randomized-algorithms streaming-algorithm in-place algorithms numerical-analysis regular-languages automata finite-automata regular-expressions algorithms data-structures efficiency coding-theory algorithms graph-theory reference-request education books formal-languages context-free proof-techniques algorithms graph-theory greedy-algorithms matroids complexity-theory graph-theory np-complete intuition complexity-theory np-complete traveling-salesman algorithms graphs probabilistic-algorithms weighted-graphs data-structures time-complexity priority-queues computability turing-machines automata pushdown-automata algorithms graphs binary-trees algorithms algorithm-analysis spanning-trees terminology asymptotics landau-notation algorithms graph-theory network-flow terminology computability undecidability rice-theorem algorithms data-structures computational-geometry

2

Esiste una generalizzazione della codifica di Huffman in codifica aritmetica?

Nel tentativo di comprendere le relazioni tra Huffman Coding, Arithmetic Coding e Range Coding, ho iniziato a pensare alle carenze della codifica Huffman legate al problema del bit packing frazionario . Cioè, supponiamo che tu abbia 240 possibili valori per un simbolo e che sia necessario codificarlo in bit, rimarrai …

11 information-theory data-compression coding-theory entropy huffman-coding

1

Problema di ottimizzazione vincolata nell'entropia della matrice

Ho un problema di ottimizzazione vincolato nell'entropia della matrice (Shannon) . La matrice può essere scritta come la somma delle matrici di rango 1 della forma dove è un dato vettore normalizzato. I coefficienti delle matrici di rango uno sono le incognite in cui ottimizziamo e devono essere maggiori di …

10 optimization entropy

1

Come misurare praticamente l'entropia di un file?

Sto cercando di misurare ora molte informazioni (ridondanti) non ridondanti contenute nel mio file. Alcuni lo chiamano la quantità di entropia. Ovviamente esiste lo standard p (x) log {p (x)}, ma penso che Shannon lo considerasse solo dal punto di vista della trasmissione attraverso un canale. Quindi la formula richiede …

9 entropy

1

Entropia di Rényi all'infinito o entropia minima

Sto leggendo un documento che fa riferimento al limite mentre n va all'infinito dell'entropia di Rényi. Lo definisce comeHn( X) =11 - nlog2(Σi = 1Npnio)Hn(X)=11−nlog2⁡(∑i=1Npin){{H}_{n}}\left( X \right)=\dfrac{1}{1-n} \log_2 \left( \sum\limits_{i=1}^{N}{p_{i}^{n}} \right). Dice quindi che il limite èn → ∞n→∞n\to \infty è -log2(p1)−log2⁡(p1)-\log_2 \left( p_1 \right). Ho visto un altro articolo …

8 information-theory entropy

Domande taggate «entropy»