Domande taggate «scoring-rules»

Le regole di punteggio vengono utilizzate per valutare l'accuratezza delle probabilità previste o, più in generale, delle densità predittive. Esempi di regole di punteggio includono la probabilità logaritmica, di Brier, sferica, classificata e il punteggio Dawid-Sebastiani e la devianza predittiva.

7
Perché l'accuratezza non è la misura migliore per valutare i modelli di classificazione?
Questa è una domanda generale che è stata posta indirettamente più volte qui, ma manca di un'unica risposta autorevole. Sarebbe bello avere una risposta dettagliata a questo per il riferimento. La precisione , la proporzione di classificazioni corrette tra tutte le classificazioni, è una misura molto semplice e molto "intuitiva", …
3
Qual è la causa principale del problema di squilibrio di classe?
Ultimamente ho pensato molto al "problema di squilibrio di classe" nell'apprendimento automatico / statistico e sto attingendo sempre più da un sentimento che non capisco cosa stia succedendo. Prima lasciami definire (o tentare di) definire i miei termini: Il problema dello squilibrio di classe nell'apprendimento automatico / statistico è l'osservazione …
6
Come scegliere tra ROC AUC e punteggio F1?
Di recente ho completato una competizione Kaggle in cui è stato utilizzato il punteggio roc auc secondo i requisiti della competizione. Prima di questo progetto, normalmente utilizzavo il punteggio f1 come metrica per misurare le prestazioni del modello. Andando avanti, mi chiedo come dovrei scegliere tra queste due metriche? Quando …
1
Cosa significa che l'AUC è una regola di punteggio semi-corretta?
Una regola di punteggio appropriata è una regola che viene massimizzata da un modello "vero" e non consente "copertura" o gioco del sistema (riportare deliberatamente risultati diversi come è la vera convinzione del modello per migliorare il punteggio). Il punteggio Brier è corretto, l'accuratezza (proporzione classificata correttamente) è impropria e …
1
L'accuratezza è una regola di punteggio impropria in un'impostazione di classificazione binaria?
Recentemente ho imparato a conoscere le regole di punteggio adeguate per i classificatori probabilistici. Numerosi thread su questo sito Web hanno sottolineato come l'accuratezza sia una regola di punteggio impropria e non dovrebbe essere utilizzata per valutare la qualità delle previsioni generate da un modello probabilistico come la regressione logistica. …
2
Come scegliere la larghezza ottimale del contenitore durante la calibrazione dei modelli di probabilità?
Sfondo: ci sono alcune grandi domande / risposte qui su come calibrare i modelli che prevedono le probabilità che si verifichi un risultato. Per esempio Punteggio di Brier e sua scomposizione in risoluzione, incertezza e affidabilità . Grafici di calibrazione e regressione isotonica . Questi metodi spesso richiedono l'uso di …
1
Quale modello di apprendimento profondo può classificare categorie che non si escludono a vicenda
Esempi: ho una frase nella descrizione del lavoro: "Ingegnere senior Java nel Regno Unito". Voglio usare un modello di apprendimento profondo per prevederlo in 2 categorie: English e IT jobs. Se uso il modello di classificazione tradizionale, posso solo prevedere 1 etichetta con la softmaxfunzione all'ultimo livello. Quindi, posso usare …
9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 
1
Quando una regola di punteggio appropriata rappresenta una migliore stima della generalizzazione in un contesto di classificazione?
Un approccio tipico alla risoluzione di un problema di classificazione consiste nell'identificare una classe di modelli candidati e quindi eseguire la selezione del modello utilizzando una procedura come la convalida incrociata. In genere si seleziona il modello con la massima precisione o alcune funzioni correlate che codificano le informazioni specifiche …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.