Mi sono imbattuto nel termine perplessità che si riferisce alla probabilità inversa mediata dai log di dati invisibili. L' articolo di Wikipedia sulla perplessità non dà un significato intuitivo per lo stesso.

Questa misura di perplessità è stata utilizzata in pLSA carta .

Qualcuno può spiegare la necessità e il significato intuitivo della misura della perplessità ?

Hai letto l' articolo di Wikipedia sulla perplessità . Dà la perplessità di una distribuzione discreta come

$$2^{-\sum_x p(x)\log_2 p(x)}$$

che potrebbe anche essere scritto come

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

cioè come media geometrica ponderata degli inversi delle probabilità. Per una distribuzione continua, la somma si trasformerebbe in un integrale.

L'articolo fornisce anche un modo per stimare la perplessità per un modello usando pezzi di dati di test$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

che potrebbe anche essere scritto

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

o in una varietà di altri modi, e ciò dovrebbe rendere ancora più chiaro da dove proviene la "probabilità inversa media logaritmica".

Ho trovato questo piuttosto intuitivo:

La perplessità di qualunque cosa tu stia valutando, sui dati su cui lo stai valutando, ti dice "questa cosa è giusta tutte le volte che sarebbe un dado a X".

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Mi sono chiesto anche questo. La prima spiegazione non è male, ma ecco i miei 2 nat per quello che vale.

---

Prima di tutto, la perplessità non ha nulla a che fare con la caratterizzazione di quanto spesso indovini qualcosa di giusto. Ha più a che fare con la caratterizzazione della complessità di una sequenza stocastica.

Stiamo osservando una quantità,

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Annulliamo prima il registro e l'espiazione.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Penso che valga la pena sottolineare che la perplessità è invariante con la base che usi per definire l'entropia. Quindi, in questo senso, la perplessità è infinitamente più unica / meno arbitraria dell'entropia come misura.

Rapporto con i dadi

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

$N$

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

So perplexity represents the number of sides of a fair die that when rolled, produces a sequence with the same entropy as your given probability distribution.

Number of States

OK, so now that we have an intuitive definition of perplexity, let's take a quick look at how it is affected by the number of states in a model. Let's start with a probability distribution over $N$ states, and create a new probability distribution over $N+1$ states such that the likelihood ratio of the original $N$ states remain the same and the new state has probability $\epsilon$. In the case of starting with a fair $N$ sided die, we might imagine creating a new $N + 1$ sided die such that the new side gets rolled with probability $\epsilon$ and the original $N$ sides are rolled with equal likelihood. So in the case of an arbitrary original probability distribution, if the probability of each state $x$ is given by $p_x$, the new distribution of the original $N$ states given the new state will be

$$p^\prime_x=p_x\left(1-\epsilon\right)$$ , and the new perplexity will be given by:

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

In the limit as $\epsilon\rightarrow 0$, this quantity approaches

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

So as you make make rolling one side of the die increasingly unlikely, the perplexity ends up looking as though the side doesn't exist.

There is actually a clear connection between perplexity and the odds of correctly guessing a value from a distribution, given by Cover's Elements of Information Theory 2ed (2.146): If $X$ and $X'$ are iid variables, then

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

To explain, perplexity of a uniform distribution X is just |X|, the number of elements. If we try to guess the values that iid samples from a uniform distribution X will take by simply making iid guesses from X, we will be correct 1/|X|=1/perplexity of the time. Since the uniform distribution is the hardest to guess values from, we can use 1/perplexity as a lower bound / heuristic approximation for how often our guesses will be right.