Statistiche e Big Data overfitting

21

Qual è un esempio reale di "overfitting"?

In un certo senso capisco cosa significhi "overfitting", ma ho bisogno di aiuto su come elaborare un esempio del mondo reale che si applica al overfitting.

107 overfitting

6

La regressione della cresta è inutile in dimensioni elevate (

Considera un buon vecchio problema di regressione con predittori e dimensione del campione . La solita saggezza è che lo stimatore OLS si sovraccaricherà e sarà generalmente sovraperformato dallo stimatore della regressione della cresta:È standard utilizzare la convalida incrociata per trovare un parametro di regolarizzazione ottimale . Qui uso un …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

Foresta casuale - Come gestire l'overfitting

Ho una preparazione informatica ma sto cercando di insegnarmi la scienza dei dati risolvendo problemi su Internet. Ho lavorato su questo problema per le ultime due settimane (circa 900 righe e 10 funzioni). Inizialmente stavo usando la regressione logistica, ma ora sono passato a foreste casuali. Quando eseguo il mio …

41 random-forest overfitting

4

La rivista Science ha approvato il Garden of Forking Pathes Analyses?

L'idea dell'analisi adattativa dei dati è che si modifica il piano di analisi dei dati man mano che si apprendono ulteriori informazioni al riguardo. Nel caso dell'analisi esplorativa dei dati (EDA), questa è generalmente una buona idea (stai spesso cercando modelli imprevisti nei dati), ma per uno studio di conferma, …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

4

Come è possibile che la perdita di validazione stia aumentando mentre aumenta anche l'accuratezza della validazione

Sto addestrando una semplice rete neurale sul set di dati CIFAR10. Dopo qualche tempo, la perdita di validazione ha iniziato ad aumentare, mentre aumenta anche l'accuratezza della validazione. La perdita e l'accuratezza del test continuano a migliorare. Com'è possibile? Sembra che se aumenta la perdita di validazione, l'accuratezza dovrebbe diminuire. …

28 neural-networks deep-learning conv-neural-network overfitting

5

Overfitting di un modello di regressione logistica

È possibile equipaggiare troppo un modello di regressione logistica? Ho visto un video in cui si diceva che se la mia area sotto la curva ROC è superiore al 95%, è molto probabile che venga adattata in modo eccessivo, ma è possibile utilizzare un modello di regressione logistica?

28 logistic overfitting regression-strategies

6

Perché pesi più piccoli si traducono in modelli più semplici nella regolarizzazione?

Ho completato il corso di Machine Learning di Andrew Ng circa un anno fa e sto scrivendo la mia esplorazione di matematica al liceo sul funzionamento della regressione logistica e sulle tecniche per ottimizzare le prestazioni. Una di queste tecniche è, ovviamente, la regolarizzazione. Lo scopo della regolarizzazione è prevenire …

27 regression machine-learning optimization regularization overfitting

2

È vero che i metodi bayesiani non si adattano troppo?

È vero che i metodi bayesiani non si adattano troppo? (Ho visto alcuni documenti ed esercitazioni che fanno questa affermazione) Ad esempio, se applichiamo un processo gaussiano a MNIST (classificazione delle cifre scritte a mano), ma mostriamo solo un singolo campione, tornerà alla distribuzione precedente per qualsiasi input diverso da …

25 bayesian nonparametric gaussian-process overfitting misspecification

5

Un modello troppo equipaggiato è necessariamente inutile?

Supponiamo che un modello abbia un'accuratezza del 100% sui dati di allenamento, ma un'accuratezza del 70% sui dati di test. È vero il seguente argomento su questo modello? È ovvio che questo è un modello troppo adatto. L'accuratezza del test può essere migliorata riducendo l'eccessivo adattamento. Tuttavia, questo modello può …

25 model accuracy overfitting

2

Ha senso combinare PCA e LDA?

Supponiamo di avere un set di dati per un'attività di classificazione statistica supervisionata, ad esempio tramite un classificatore di Bayes. Questo set di dati è composto da 20 funzionalità e desidero ridurlo a 2 funzionalità tramite tecniche di riduzione della dimensionalità come Analisi componenti principali (PCA) e / o Analisi …

25 classification pca regularization discriminant-analysis overfitting

4

"Apprendimento semi supervisionato": questo è troppo adatto?

Stavo leggendo il rapporto sulla soluzione vincente di una competizione Kaggle ( Classificazione malware ). Il rapporto può essere trovato in questo post del forum . Il problema era un problema di classificazione (nove classi, la metrica era la perdita logaritmica) con 10000 elementi nel set di treni, 10000 elementi …

21 machine-learning random-forest boosting overfitting semi-supervised

9

Overfitting e underfitting

Ho fatto alcune ricerche su overfitting e underfitting e ho capito esattamente cosa sono, ma non riesco a trovare le ragioni. Quali sono i motivi principali per eccesso e insufficiente? Perché affrontiamo questi due problemi nella formazione di un modello?

20 machine-learning dataset overfitting

1

Discussione su overfit in xgboost

La mia configurazione è la seguente: Sto seguendo le linee guida in "Modellazione predittiva applicata". Quindi ho filtrato le funzioni correlate e finisco con il seguente: 4900 punti dati nel set di addestramento e 1600 punti dati nel set di test. Ho 26 funzionalità e l'obiettivo è una variabile continua. …

20 machine-learning boosting overfitting

5

Evitare il sovradimensionamento nella regressione: alternative alla regolarizzazione

La regolarizzazione nella regressione (lineare, logistica ...) è il modo più popolare per ridurre l'eccessivo adattamento. Quando l'obiettivo è l'accuratezza della previsione (non la spiegazione), ci sono buone alternative alla regolarizzazione, particolarmente adatte per grandi insiemi di dati (mi / miliardi di osservazioni e milioni di funzionalità)?

19 regression regularization overfitting

2

Potenziamento: perché il tasso di apprendimento è chiamato parametro di regolarizzazione?

Il parametro della velocità di apprendimento ( ) in Gradient Boosting riduce il contributo di ogni nuovo modello base - tipicamente un albero superficiale - che viene aggiunto nella serie. È stato dimostrato che aumenta drasticamente la precisione del set di test, il che è comprensibile come con passaggi più …

19 machine-learning data-mining predictive-models boosting overfitting

Domande taggate «overfitting»