Domande taggate «loss-functions»

Una funzione utilizzata per quantificare la differenza tra i dati osservati e i valori previsti in base a un modello. La minimizzazione delle funzioni di perdita è un modo per stimare i parametri del modello.

5
Quale funzione di perdita per compiti di classificazione multi-classe e multi-etichetta nelle reti neurali?
Sto addestrando una rete neurale per classificare un insieme di oggetti in n-classi. Ogni oggetto può appartenere a più classi contemporaneamente (multi-classe, multi-etichetta). Ho letto che per problemi multi-classe è generalmente raccomandato l'uso di softmax e entropia incrociata categorica come funzione di perdita invece di mse e capisco più o …
3
Apprendimento automatico: dovrei usare un'entropia incrociata categorica o una perdita binaria di entropia incrociata per le previsioni binarie?
Prima di tutto, mi sono reso conto che se devo eseguire previsioni binarie, devo creare almeno due classi eseguendo una codifica a caldo. È corretto? Tuttavia, l'entropia incrociata binaria è solo per le previsioni con una sola classe? Se dovessi usare una categorica perdita di entropia che si trova in …
2
Funzione di costo nella regressione lineare OLS
Sono un po 'confuso con una lezione sulla regressione lineare tenuta da Andrew Ng su Coursera sull'apprendimento automatico. Lì, ha dato una funzione di costo che minimizza la somma dei quadrati come: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m \left(h_\theta(X^{(i)})-Y^{(i)}\right)^2 Capisco da dove viene il . Penso che l'abbia fatto in modo che …
5
Come gestire i dati gerarchici / nidificati nell'apprendimento automatico
Spiegherò il mio problema con un esempio. Supponiamo di voler prevedere il reddito di un individuo in base ad alcuni attributi: {Età, Genere, Paese, Regione, Città}. Hai un set di dati di allenamento come questo train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", …
29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 
1
Approssimazione della funzione di perdita XGBoost con Taylor Expansion
Come esempio, assumere la funzione obiettivo del modello XGBoost sulla 'th iterazione:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) dove è la funzione di perdita, è la t 'th uscita albero e \ Omega è la regolarizzazione. Uno dei (molti) passaggi chiave per il calcolo veloce è l'approssimazione:ℓℓ\ellftftf_ttttΩΩ\Omega L( t )≈ ∑i = 1nℓ ( yio, …
3
Quali sono gli impatti della scelta delle diverse funzioni di perdita nella classificazione per approssimare la perdita 0-1
Sappiamo che alcune funzioni oggettive sono più facili da ottimizzare e altre difficili. E ci sono molte funzioni di perdita che vogliamo usare ma difficili da usare, ad esempio la perdita 0-1. Quindi troviamo alcune funzioni di perdita proxy per fare il lavoro. Ad esempio, usiamo la perdita della cerniera …
1
La perdita di allenamento scende e sale di nuovo. Che cosa sta succedendo?
La mia perdita di allenamento diminuisce e poi aumenta di nuovo. È molto strano. La perdita di convalida incrociata tiene traccia della perdita di addestramento. Cosa sta succedendo? Ho due LSTMS in pila come segue (su Keras): model = Sequential() model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices)))) model.add(Dropout(0.2)) model.add(LSTM(512, return_sequences=False)) model.add(Dropout(0.2)) model.add(Dense(len(nd.categories))) model.add(Activation('sigmoid')) …
3
Gradiente di perdita della cerniera
Sto cercando di implementare la discesa gradiente di base e la sto testando con una funzione di perdita della cerniera, ad esempio . Tuttavia, sono confuso sul gradiente della perdita della cerniera. Ho l'impressione che lo sialhinge=max(0,1−y x⋅w)lhinge=max(0,1−y x⋅w)l_{\text{hinge}} = \max(0,1-y\ \boldsymbol{x}\cdot\boldsymbol{w}) ∂∂wlcerniera= { - y X0se y x ⋅ …
2
Regressione quantile: funzione di perdita
Sto cercando di capire la regressione quantile, ma una cosa che mi fa soffrire è la scelta della funzione di perdita. ρτ(u)=u(τ−1{u&lt;0})ρτ(u)=u(τ−1{u&lt;0})\rho_\tau(u) = u(\tau-1_{\{u<0\}}) So che il minimo dell'aspettativa di ρτ(y−u)ρτ(y−u)\rho_\tau(y-u) è uguale a τ%τ%\tau\% -quantile, ma qual è la ragione intuitiva per iniziare con questa funzione? Non vedo la …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.