Domande taggate «cross-entropy»

5
Quale funzione di perdita per compiti di classificazione multi-classe e multi-etichetta nelle reti neurali?
Sto addestrando una rete neurale per classificare un insieme di oggetti in n-classi. Ogni oggetto può appartenere a più classi contemporaneamente (multi-classe, multi-etichetta). Ho letto che per problemi multi-classe è generalmente raccomandato l'uso di softmax e entropia incrociata categorica come funzione di perdita invece di mse e capisco più o …
6
Backpropagation con Softmax / Cross Entropy
Sto cercando di capire come funziona la backpropagation per un livello di output softmax / cross-entropia. La funzione di errore di entropia incrociata è E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con e come target e output al neurone , rispettivamente. La somma è su ogni neurone nel livello di output. stesso è …
1
Perché utilizziamo la divergenza di Kullback-Leibler anziché l'entropia incrociata nella funzione obiettivo t-SNE?
Nella mia mente, la divergenza di KL dalla distribuzione del campione alla distribuzione vera è semplicemente la differenza tra entropia incrociata ed entropia. Perché utilizziamo l'entropia incrociata come funzione di costo in molti modelli di apprendimento automatico, ma utilizziamo la divergenza di Kullback-Leibler in t-sne? C'è qualche differenza nella velocità …
3
Apprendimento automatico: dovrei usare un'entropia incrociata categorica o una perdita binaria di entropia incrociata per le previsioni binarie?
Prima di tutto, mi sono reso conto che se devo eseguire previsioni binarie, devo creare almeno due classi eseguendo una codifica a caldo. È corretto? Tuttavia, l'entropia incrociata binaria è solo per le previsioni con una sola classe? Se dovessi usare una categorica perdita di entropia che si trova in …
2
Perché l'errore quadratico medio è l'entropia incrociata tra la distribuzione empirica e un modello gaussiano?
Nel 5.5, Deep Learning (di Ian Goodfellow, Yoshua Bengio e Aaron Courville), lo afferma Qualsiasi perdita consistente in una probabilità logaritmica negativa è una entropia incrociata tra la distribuzione empirica definita dal set di addestramento e la distribuzione di probabilità definita dal modello. Ad esempio, l'errore quadratico medio è l'entropia …
3
Qual è la differenza Cross-entropy e KL divergence?
Sia l'entropia incrociata che la divergenza di KL sono strumenti per misurare la distanza tra due distribuzioni di probabilità. Qual è la differenza? Inoltre, la minimizzazione di KL equivale alla minimizzazione di Cross-Entropy.H(P,Q)=−∑xP(x)logQ(x)H(P,Q)=−∑xP(x)log⁡Q(x) H(P,Q) = -\sum_x P(x)\log Q(x) KL(P|Q)=∑xP(x)logP(x)Q(x)KL(P|Q)=∑xP(x)log⁡P(x)Q(x) KL(P | Q) = \sum_{x} P(x)\log {\frac{P(x)}{Q(x)}} Voglio conoscerli istintivamente. Grazie …
2
Diverse definizioni della funzione di perdita di entropia crociata
Ho iniziato a conoscere le reti neurali con il tutorial com dot su reti neurali e apprendimento. In particolare nel terzo capitolo c'è una sezione sulla funzione entropia crociata e definisce la perdita di entropia crociata come: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.