Statistiche e Big Data out-of-sample

8

Come posso aiutare a garantire che i dati dei test non finiscano nei dati di addestramento?

Supponiamo di avere qualcuno che sta costruendo un modello predittivo, ma che qualcuno non sia necessariamente esperto di principi statistici o di apprendimento automatico adeguati. Forse stiamo aiutando quella persona mentre stanno imparando, o forse quella persona sta usando una sorta di pacchetto software che richiede una conoscenza minima da …

60 machine-learning classification predictive-models cross-validation out-of-sample

4

La rivista Science ha approvato il Garden of Forking Pathes Analyses?

L'idea dell'analisi adattativa dei dati è che si modifica il piano di analisi dei dati man mano che si apprendono ulteriori informazioni al riguardo. Nel caso dell'analisi esplorativa dei dati (EDA), questa è generalmente una buona idea (stai spesso cercando modelli imprevisti nei dati), ma per uno studio di conferma, …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

5

Nuovo modo rivoluzionario di data mining?

Il seguente estratto è tratto dall'Hedge Fund Market Wizzards di Schwager (maggio 2012), un'intervista al gestore di hedge fund di successo costantemente Jaffray Woodriff: Alla domanda: "Quali sono alcuni dei peggiori errori che le persone commettono nel data mining?": Molte persone pensano di stare bene perché usano i dati all'interno …

21 data-mining curve-fitting out-of-sample

3

È necessario un set di test quando si utilizza la convalida incrociata di k-fold?

Ho letto della convalida di k-fold e voglio essere sicuro di capire come funziona. So che per il metodo di controllo, i dati vengono suddivisi in tre set e il set di test viene utilizzato solo alla fine per valutare le prestazioni del modello, mentre il set di convalida viene …

21 cross-validation validation out-of-sample

1

La classifica privata di Kaggle è un buon predittore delle prestazioni fuori campione del modello vincitore?

Sebbene i risultati del set di test privato non possano essere utilizzati per perfezionare ulteriormente il modello, la selezione del modello su un numero enorme di modelli non viene eseguita in base ai risultati del set di test privato? Non riusciresti, con quel solo processo, a finire con il sovradimensionamento …

16 model-selection overfitting out-of-sample

4

Modelli predittivi: le statistiche non possono forse battere l'apprendimento automatico? [chiuso]

Chiuso . Questa domanda deve essere più focalizzata . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che si concentri su un problema solo modificando questo post . Chiuso 2 anni fa . Attualmente sto seguendo un programma master incentrato su statistiche / econometria. …

14 machine-learning forecasting predictive-models prediction out-of-sample

3

Perché il metodo di controllo (suddivisione dei dati in formazione e test) non viene utilizzato nelle statistiche classiche?

Nella mia esposizione in classe al data mining, il metodo di controllo è stato introdotto come un modo per valutare le prestazioni del modello. Tuttavia, quando ho preso la mia prima classe sui modelli lineari, questo non è stato introdotto come mezzo di validazione o valutazione del modello. Anche la …

12 regression validation model-evaluation out-of-sample

1

Differenza tra previsioni "in-sample" e "pseudo out-of-sample"

Esiste una differenza esplicita tra previsioni nel campione e pseudo previsioni fuori dal campione . Entrambi sono intesi nel contesto della valutazione e del confronto di modelli previsionali.

12 forecasting model-comparison out-of-sample in-sample

4

Qual è il modo più appropriato per creare un set di controllo: rimuovere alcuni soggetti o rimuovere alcune osservazioni da ciascun soggetto?

Ho un set di dati con 26 funzionalità e 31000 righe. È il set di dati di 38 soggetti. È per un sistema biometrico. Quindi voglio essere in grado di identificare i soggetti. Per avere un set di test, so che devo rimuovere alcuni valori. Allora, cosa è meglio fare …

11 machine-learning cross-validation out-of-sample

1

La modellazione con foreste casuali richiede una convalida incrociata?

Per quanto ho visto, le opinioni tendono a differire su questo. Le migliori pratiche detterebbero certamente l'uso della convalida incrociata (soprattutto se si confrontano RF con altri algoritmi sullo stesso set di dati). D'altra parte, la fonte originale afferma che il fatto che l'errore OOB viene calcolato durante l'addestramento del …

10 cross-validation random-forest overfitting out-of-sample

2

Una '' variabile significativa '' che non migliora le previsioni fuori campione: come interpretare?

Ho una domanda che penso sarà abbastanza semplice per molti utenti. Sto usando modelli di regressione lineare per (i) studiare la relazione tra diverse variabili esplicative e la mia variabile di risposta e (ii) prevedere la mia variabile di risposta usando le variabili esplicative. Una particolare variabile esplicativa X sembra …

10 statistical-significance predictive-models p-value prediction out-of-sample

1

Come calcolare il campione R al quadrato?

So che probabilmente è stato discusso da qualche altra parte, ma non sono stato in grado di trovare una risposta esplicita. Sto cercando di utilizzare la formula per calcolare fuori campione di un modello di regressione lineare, in cui è la somma dei residui quadrati e è la somma totale …

10 regression machine-learning r-squared out-of-sample

Domande taggate «out-of-sample»