Domande taggate «information-theory»

Una branca della matematica / statistica utilizzata per determinare la capacità di trasportare informazioni di un canale, sia che venga utilizzato per la comunicazione sia che sia definito in senso astratto. L'entropia è una delle misure con cui i teorici dell'informazione possono quantificare l'incertezza implicata nella previsione di una variabile casuale.

2
Informazioni reciproche come probabilità
Le informazioni reciproche sull'entropia comune potrebbero essere: 0 ≤ I( X, Y)H( X, Y)≤ 10≤io(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 essere definito come: "La probabilità di trasmettere un'informazione da X a Y"? Mi dispiace di essere così ingenuo, ma non ho mai studiato la teoria dell'informazione e sto solo cercando …
2
Quali sono le buone metriche per valutare la qualità di un adattamento PCA, al fine di selezionare il numero di componenti?
Qual è una buona metrica per valutare la qualità dell'analisi dei componenti principali (PCA)? Ho eseguito questo algoritmo su un set di dati. Il mio obiettivo era ridurre il numero di funzionalità (le informazioni erano molto ridondanti). So che la percentuale di varianza mantenuta è un buon indicatore di quante …
1
Come calcolare le informazioni reciproche?
Sono un po 'confuso. Qualcuno può spiegarmi come calcolare le informazioni reciproche tra due termini basati su una matrice di documenti termici con occorrenza binaria di termini come pesi? Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ …
2
Test di ipotesi e distanza di variazione totale rispetto alla divergenza di Kullback-Leibler
Nella mia ricerca ho riscontrato il seguente problema generale: ho due distribuzioni e sullo stesso dominio e un gran numero (ma finito) di campioni da tali distribuzioni. I campioni sono distribuiti in modo indipendente e identico da una di queste due distribuzioni (anche se le distribuzioni possono essere correlate: ad …
3
Gli iperpiani classificano in modo ottimale i dati quando gli input sono condizionatamente indipendenti - Perché?
Nel documento chiamato Deep Learning e il principio del collo di bottiglia delle informazioni gli autori dichiarano nella sezione II A) quanto segue: I singoli neuroni classificano solo input separabili linearmente, poiché possono implementare solo iperpiani nel loro spazio di input . Gli iperpiani possono classificare in modo ottimale i …
1
Le reti neurali usano una codifica efficiente?
La mia domanda riguarda la relazione tra l'ipotesi di codifica efficiente che è delineata nella pagina di Wikipedia su codifica efficiente e algoritmi di apprendimento della rete neurale. Qual è la relazione tra l'ipotesi di codifica efficiente e le reti neurali? Esistono modelli di reti neurali esplicitamente ispirati dall'efficace ipotesi …
1
Uso della teoria dell'informazione nella scienza dei dati applicata
Oggi mi sono imbattuto nel libro "Teoria dell'informazione: un'introduzione al tutorial" di James Stone e ho riflettuto per un momento o due sull'estensione dell'uso della teoria dell'informazione nella scienza dei dati applicati (se non ti senti a tuo agio con questo termine ancora un po 'confuso, pensa all'analisi dei dati …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.