Statistiche e Big Data softmax

4

Funzione Softmax vs Sigmoid nel classificatore logistico?

Cosa decide la scelta della funzione (Softmax vs Sigmoid) in un classificatore logistico? Supponiamo che ci siano 4 classi di output. Ciascuna delle funzioni di cui sopra fornisce le probabilità che ciascuna classe sia l'output corretto. Quindi quale prendere per un classificatore?

63 machine-learning logistic classification softmax

6

Backpropagation con Softmax / Cross Entropy

Sto cercando di capire come funziona la backpropagation per un livello di output softmax / cross-entropia. La funzione di errore di entropia incrociata è E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con e come target e output al neurone , rispettivamente. La somma è su ogni neurone nel livello di output. stesso è …

40 backpropagation derivative softmax cross-entropy

1

Cross-Entropy o Log Likelihood nel livello Output

Ho letto questa pagina: http://neuralnetworksanddeeplearning.com/chap3.html e diceva che lo strato di output sigmoideo con entropia incrociata è abbastanza simile allo strato di output softmax con verosimiglianza logaritmica. cosa succede se utilizzo sigmoid con verosimiglianza log o softmax con entropia incrociata nel livello di output? va bene? perché vedo che c'è …

31 neural-networks maximum-likelihood softmax

4

Perché l'output di softmax non è una buona misura di incertezza per i modelli di Deep Learning?

Lavoro con Convolutional Neural Networks (CNN) da qualche tempo, principalmente su dati di immagine per la segmentazione semantica / segmentazione di istanza. Ho spesso visualizzato il softmax dell'output di rete come una "mappa di calore" per vedere quanto sono alte le attivazioni per pixel per una determinata classe. Ho interpretato …

22 probability deep-learning conv-neural-network uncertainty softmax

2

Perché la funzione softmax viene utilizzata per calcolare le probabilità sebbene possiamo dividere ciascun valore per la somma del vettore?

L'applicazione della funzione softmax su un vettore produrrà "probabilità" e valori compresi tra e . 000111 Ma possiamo anche dividere ogni valore per la somma del vettore e questo produrrà probabilità e valori tra e .000111 Ho letto la risposta qui, ma dice che il motivo è perché è differenziabile, …

20 machine-learning neural-networks softmax

1

Come configurare la rete neurale per l'output di dati ordinali?

Ho una rete neurale impostata per prevedere qualcosa in cui la variabile di output è ordinale. Descriverò di seguito usando tre possibili uscite A <B <C. È abbastanza ovvio come utilizzare una rete neurale per l'output di dati categorici: l'output è solo un softmax dell'ultimo livello (generalmente completamente collegato), uno …

20 neural-networks ordinal-data softmax

1

Caret glmnet vs cv.glmnet

Sembra esserci molta confusione nel confronto tra l'uso di glmnetinside caretper cercare un lambda ottimale e l'utilizzo cv.glmnetper fare lo stesso compito. Sono state poste molte domande, ad esempio: Modello di classificazione train.glmnet vs. cv.glmnet? Qual è il modo corretto di usare glmnet con il cursore? Convalida incrociata di `glmnet` …

14 r caret glmnet machine-learning neural-networks maximum softmax probability distributions mathematical-statistics random-variable cdf statistical-significance variance expected-value ratio sample-size reliability tolerance-interval wilcoxon-signed-rank self-study variance sampling mean machine-learning svm libsvm self-study sampling ranks data-visualization histogram machine-learning classification normal-distribution mathematical-statistics maximum-likelihood mixture predictive-models prediction seasonality

3

Perché il softmax gerarchico è migliore per le parole rare, mentre il campionamento negativo è migliore per le parole frequenti?

Mi chiedo perché il softmax gerarchico sia migliore per le parole rare, mentre il campionamento negativo è meglio per le parole frequenti, nei modelli CBOW e skip-gram di word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

2

Diverse definizioni della funzione di perdita di entropia crociata

Ho iniziato a conoscere le reti neurali con il tutorial com dot su reti neurali e apprendimento. In particolare nel terzo capitolo c'è una sezione sulla funzione entropia crociata e definisce la perdita di entropia crociata come: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - …

12 neural-networks loss-functions softmax cross-entropy

2

Quanto è profonda la connessione tra la funzione softmax in ML e la distribuzione di Boltzmann in termodinamica?

La funzione softmax, comunemente usata nelle reti neurali per convertire i numeri reali in probabilità, ha la stessa funzione della distribuzione di Boltzmann, la distribuzione di probabilità sulle energie per un insieme di particelle in equilibrio termico ad una data temperatura T in termodinamica. Vedo alcune chiare ragioni euristiche per …

12 machine-learning neural-networks softmax

3

Non linearità prima dello strato finale di Softmax in una rete neurale convoluzionale

Sto studiando e cercando di implementare reti neurali convoluzionali, ma suppongo che questa domanda si applichi ai percetroni multistrato in generale. I neuroni di output nella mia rete rappresentano l'attivazione di ogni classe: il neurone più attivo corrisponde alla classe prevista per un dato input. Per considerare un costo di …

12 neural-networks deep-learning conv-neural-network nonlinear softmax

2

Perché il softmax è usato per rappresentare una distribuzione di probabilità?

Nella letteratura dell'apprendimento automatico, per rappresentare una distribuzione di probabilità, viene spesso utilizzata la funzione softmax. C'è una ragione per questo? Perché non viene utilizzata un'altra funzione?

10 machine-learning distributions softmax

3

Come applicare Softmax come funzione di attivazione in Perceptron multistrato in scikit-learn? [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 11 mesi fa . Devo applicare la funzione di attivazione di Softmax al Perceptron multistrato in scikit. La documantazione di scikit …

9 neural-networks scikit-learn multi-class softmax

2

Perdita logistica multinomiale vs (Cross Entropy vs Square Error)

Ho osservato che Caffe (un framework di apprendimento profondo) utilizzava lo strato di perdita di Softmax SoftmaxWithLoss come strato di output per la maggior parte dei campioni di modello . Per quanto ne so, il livello Softmax Loss è la combinazione di Multinomial Logistic Loss Layer e Softmax Layer . …

9 multinomial entropy sums-of-squares softmax

1

Definizione della funzione softmax

Questa domanda fa seguito a stats.stackexchange.com/q/233658 Il modello di regressione logistica per le classi {0, 1} è P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Chiaramente queste probabilità si sommano a 1. Impostando …

8 logistic neural-networks multinomial-logit softmax identifiability

Domande taggate «softmax»