Statistiche e Big Data calibration

3

Visualizzazione della calibrazione della probabilità prevista di un modello

Supponiamo che io abbia un modello predittivo che produce, per ogni istanza, una probabilità per ogni classe. Ora riconosco che ci sono molti modi per valutare un tale modello se voglio usare quelle probabilità per la classificazione (precisione, richiamo, ecc.). Riconosco anche che una curva ROC e l'area sottostante possono …

23 data-visualization classification predictive-models binary-data calibration

2

Perché usare il ridimensionamento di Platt?

Al fine di calibrare un livello di confidenza con una probabilità nell'apprendimento supervisionato (diciamo per mappare la confidenza da un SVM o un albero decisionale usando dati sovracampionati) un metodo consiste nell'utilizzare il ridimensionamento di Platt (ad esempio, Ottenere probabilità calibrate dall'amplificazione ). Fondamentalmente si usa la regressione logistica per …

17 logistic cross-validation calibration

1

Pool di grafici di calibrazione dopo imputazione multipla

Vorrei un consiglio su come raggruppare i grafici / i grafici di calibrazione dopo un'imputazione multipla. Nel contesto dello sviluppo di modelli statistici al fine di prevedere un evento futuro (ad es. Utilizzando i dati dei registri ospedalieri per prevedere la sopravvivenza o gli eventi post dimissione dall'ospedale), si può …

15 data-visualization data-imputation multiple-imputation pooling calibration

2

Modo corretto di Scikit per calibrare i classificatori con CalibratedClassifierCV

Scikit ha CalibratedClassifierCV , che ci consente di calibrare i nostri modelli su una particolare coppia X, y. Lo afferma anche chiaramentedata for fitting the classifier and for calibrating it must be disjoint. Se devono essere disgiunti, è legittimo addestrare il classificatore con quanto segue? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation scikit-learn validation train calibration

2

Come scegliere la larghezza ottimale del contenitore durante la calibrazione dei modelli di probabilità?

Sfondo: ci sono alcune grandi domande / risposte qui su come calibrare i modelli che prevedono le probabilità che si verifichi un risultato. Per esempio Punteggio di Brier e sua scomposizione in risoluzione, incertezza e affidabilità . Grafici di calibrazione e regressione isotonica . Questi metodi spesso richiedono l'uso di …

12 probability predictive-models binary-data calibration scoring-rules

3

Come faccio a scegliere la metrica migliore per misurare la mia calibrazione?

Programmo e realizzo uno sviluppo test-driven. Dopo aver apportato una modifica al mio codice, eseguo i test. A volte ci riescono ea volte falliscono. Prima di eseguire un test, scrivo un numero compreso tra 0,01 e 0,99 per la mia convinzione che il test avrà esito positivo. Voglio sapere se …

10 forecasting decision-theory calibration scoring-rules

2

Perché la regressione logistica è ben calibrata e come rovinarne la calibrazione?

Nella scikit apprendono i documenti sulla calibrazione della probabilità che confrontano la regressione logistica con altri metodi e osservano che la foresta casuale è meno ben calibrata della regressione logistica. Perché la regressione logistica è ben calibrata? Come si potrebbe rovinare la calibrazione di una regressione logistica (non quella che …

9 regression logistic calibration

1

Come stimare una curva di calibrazione con bootstrap (R)

Domanda : ho inserito un modello probabilistico (rete bayesiana) per modellare una variabile di risultato binaria. Vorrei creare un grafico di calibrazione ad alta risoluzione (ad es. Spline) corretto per adattamento eccessivo con bootstrap. Esiste una procedura standard per il calcolo di tale curva? Considerazioni : potrei farlo facilmente con …

9 bootstrap splines regression-strategies calibration

Domande taggate «calibration»