Statistiche e Big Data validation

2

Modo corretto di Scikit per calibrare i classificatori con CalibratedClassifierCV

Scikit ha CalibratedClassifierCV , che ci consente di calibrare i nostri modelli su una particolare coppia X, y. Lo afferma anche chiaramentedata for fitting the classifier and for calibrating it must be disjoint. Se devono essere disgiunti, è legittimo addestrare il classificatore con quanto segue? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation scikit-learn validation train calibration

1

Quando si crea un modello di regressione utilizzando set di modellazione / convalida separati, è appropriato "ricircolare" i dati di convalida?

Supponiamo di avere una divisione 80/20 tra osservazioni di modellazione / validazione. Ho adattato un modello al set di dati di modellazione e mi sento a mio agio con l'errore visualizzato sul set di dati di convalida. Prima di implementare il mio modello per calcolare il punteggio delle osservazioni future, …

13 regression predictive-models validation

3

Perché il metodo di controllo (suddivisione dei dati in formazione e test) non viene utilizzato nelle statistiche classiche?

Nella mia esposizione in classe al data mining, il metodo di controllo è stato introdotto come un modo per valutare le prestazioni del modello. Tuttavia, quando ho preso la mia prima classe sui modelli lineari, questo non è stato introdotto come mezzo di validazione o valutazione del modello. Anche la …

12 regression validation model-evaluation out-of-sample

1

Nome dell'errore assoluto medio analogo al punteggio di Brier?

La domanda di ieri Determinare l'accuratezza del modello che stima la probabilità dell'evento mi ha incuriosito dal punteggio di probabilità. Il punteggio di Brier è una misura di errore al quadrato medio. La misura dell'errore assoluto medio analogo misura11NΣi = 1N( p r e dI c t i o nio- …

12 classification error validation scoring-rules brier-score

3

Suddivisione dei dati delle serie temporali in set di treni / test / convalida

Qual è il modo migliore per dividere i dati delle serie temporali in set di treni / test / validazione, dove il set di validazione verrebbe utilizzato per l'ottimizzazione dell'iperparametro? Abbiamo 3 anni di dati sulle vendite giornaliere e il nostro piano è di utilizzare il 2015-2016 come dati di …

12 time-series cross-validation validation

2

La percentuale di errore è una funzione convessa del parametro di regolarizzazione lambda?

Nella scelta del parametro di regolarizzazione lambda in Ridge o Lasso, il metodo consigliato è provare diversi valori di lambda, misurare l'errore nel set di convalida e infine scegliere quel valore di lambda che restituisce l'errore più basso. Non è un problema per me se la funzione f (lambda) = …

11 cross-validation error regularization validation optimization

1

Qual è l'intuizione alla base della metrica variazione di informazioni (VI) per la convalida dei cluster?

Per i non statistici come me, è molto difficile catturare l'idea di VImetrica (variazione delle informazioni) anche dopo aver letto l'articolo pertinente di Marina Melia " Confronto di clustering - Una distanza basata sull'informazione " (Journal of Multivariate Analysis, 2007). In effetti, non ho familiarità con molti dei termini dei …

11 r clustering validation intuition

1

Metrica di valutazione delle previsioni per dati pannello / longitudinali

Vorrei valutare diversi modelli diversi che forniscono previsioni di comportamento a livello mensile. I dati sono bilanciati e 100.000 e 12. Il risultato è assistere a un concerto in un determinato mese, quindi è zero per circa l'80% delle persone in ogni mese, ma c'è una lunga coda destra di …

11 repeated-measures predictive-models stata panel-data validation

3

Che cos'è un controllo di coerenza?

Mi è stata posta una domanda del tipo "Hai fatto qualche controllo di coerenza nel tuo lavoro quotidiano?" durante un'intervista telefonica per una posizione biostatistica. Non so cosa rispondere. Qualsiasi informazione è apprezzata

11 validation

2

Come creare un set di campioni rappresentativo da un set di dati globale di grandi dimensioni?

Quali sono le tecniche statistiche per creare un set di campioni, che è rappresentativo dell'intera popolazione (con un livello di confidenza noto)? Anche, Come convalidare, se il campione si adatta all'insieme di dati complessivo? È possibile, senza analizzare l'intero set di dati (che potrebbe essere miliardi di record)?

10 sampling sample-size validation

2

Orientamento all'ottimismo: stime dell'errore di previsione

Il libro Elements of Statistical Learning (disponibile in PDF online) discute il pregiudizio ottimisim (7.21, pagina 229). Indica che il pregiudizio all'ottimismo è la differenza tra l'errore dell'allenamento e l'errore nel campione (errore osservato se campioniamo nuovi valori di risultato in ciascuno dei punti di allenamento originali) (per sotto). Successivamente, …

9 error bias validation

4

Rapporto di calcolo dei dati campione utilizzati per l'adattamento / l'addestramento e la validazione del modello

Fornito una dimensione del campione "N" che ho intenzione di utilizzare per prevedere i dati. Quali sono alcuni modi per suddividere i dati in modo che io ne usi alcuni per stabilire un modello e i dati rimanenti per convalidare il modello? So che non esiste una risposta in bianco …

9 machine-learning modeling sample validation

4

È obbligatorio sottoinsieme dei dati per convalidare un modello?

Non riesco a trovare la stessa pagina del mio supervisore quando si tratta di convalidare il mio modello. Ho analizzato i residui (osservati rispetto ai valori adattati) e l'ho usato come argomento per discutere i risultati ottenuti dal mio modello, tuttavia il mio supervisore insiste sul fatto che l'unico modo …

8 r references glmm validation glmmtmb

Domande taggate «validation»