Quale modello di apprendimento profondo può classificare categorie che non si escludono a vicenda

Esempi: ho una frase nella descrizione del lavoro: "Ingegnere senior Java nel Regno Unito".

Voglio usare un modello di apprendimento profondo per prevederlo in 2 categorie: English e IT jobs. Se uso il modello di classificazione tradizionale, posso solo prevedere 1 etichetta con la softmaxfunzione all'ultimo livello. Quindi, posso usare 2 reti neurali modello per prevedere "Sì" / "No" con entrambe le categorie, ma se ne abbiamo altre, è troppo costoso. Quindi abbiamo qualche modello di deep learning o machine learning per prevedere 2 o più categorie contemporaneamente?

"Modifica": con 3 etichette di approccio tradizionale, sarà codificato da [1,0,0] ma nel mio caso, sarà codificato da [1,1,0] o [1,1,1]

Esempio: se abbiamo 3 etichette e una frase potrebbe essere adatta a tutte queste etichette. Quindi, se l'output della funzione softmax è [0.45, 0.35, 0.2] dovremmo classificarlo in 3 etichette o 2 etichette, o potrebbe essere uno? il problema principale quando lo facciamo è: qual è la buona soglia per classificare in 1, o 2 o 3 etichette?

machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty

— voxter
fonte

Dobbiamo usare la funzione sigmoid invece della funzione softmax. Può assegnare più classi ai punti dati.

— NITISH MAHAJAN,

È possibile ottenere questa classificazione multietichetta sostituendo il softmax con un'attivazione sigmoidea e usando la crossentropia binaria invece della crossentropia categorica come funzione di perdita. Quindi hai solo bisogno di una rete con tutte le unità di output / neuroni quante sono le etichette.

È necessario modificare la perdita in crossentropia binaria poiché l'entropia incrociata categorica ottiene solo la perdita dalla previsione per gli obiettivi positivi. Per capirlo, guarda la formula per la perdita categorica di crossentropia per un esempio (gli indici di classe sono ): $i$ $j$

$L_i = - \sum_j{t_{i,j} \log(p_{i,j})}$

Nella normale impostazione multiclasse, si utilizza un softmax, in modo che la previsione per la classe corretta dipenda direttamente dalle previsioni per le altre classi. Se sostituisci il softmax con sigmoid questo non è più vero, quindi esempi negativi (dove ) non vengono più utilizzati nell'allenamento! Ecco perché è necessario passare alla crossentropia binaria, che utilizza esempi sia positivi che negativi: $t_{i,j}=0$ $L_i=-\sum_j{t_{i,j} \log(p_{i,j})} -\sum_j{(1 - t_{i,j}) \log(1 - p_{i,j})}$

— robintibor
fonte

perché dobbiamo usare la crossentropia binaria invece della crossentropia categorica come funzione di perdita? puoi spiegare di più? Ora sto usando l'attivazione sigmoid @robintibor

— voxter

Ho aggiunto una spiegazione alla risposta @voxter

— robintibor l'

Geniale! Grazie. Inoltre, puoi fornire alcuni documenti o tutorial che spiegano più matematica sulle funzioni nel deep learning come come mi hai spiegato?

— voxter,

Grande. Questi tutorial potrebbero aiutare: neuralnetworksanddeeplearning.com deeplearning.net/tutorial deeplearning.stanford.edu/tutorial

— robintibor