Statistiche e Big Data overfitting

2

Si può (teoricamente) allenare una rete neurale con meno campioni di allenamento rispetto ai pesi?

Prima di tutto: lo so, non esiste un numero generale di dimensioni del campione richieste per addestrare una rete neurale. Dipende da troppi fattori come la complessità dell'attività, il rumore nei dati e così via. E più campioni di formazione ho, migliore sarà la mia rete. Ma mi chiedevo: è …

12 neural-networks overfitting underdetermined

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Come selezionare la soluzione migliore senza dati eccessivi? Modellazione di una distribuzione bimodale con N funzioni normali, ecc

Ho una distribuzione ovviamente bimodale di valori, che cerco di adattare. I dati possono essere adattati bene con 2 funzioni normali (bimodali) o con 3 funzioni normali. Inoltre, esiste un motivo fisico plausibile per adattare i dati con 3. Più parametri vengono introdotti, più perfetta sarà la misura, come con …

11 distributions normal-distribution model-selection overfitting

4

Sovrapposizione con classificatori lineari

Oggi il nostro professore ha dichiarato in classe che "non è possibile un overfitting con classificatori lineari". Ritengo che sia sbagliato, dal momento che anche i classificatori lineari possono essere sensibili agli outlier nel set di training - prendiamo ad esempio un margine duro. Support Vector Machine: un singolo punto …

10 classification overfitting

1

La modellazione con foreste casuali richiede una convalida incrociata?

Per quanto ho visto, le opinioni tendono a differire su questo. Le migliori pratiche detterebbero certamente l'uso della convalida incrociata (soprattutto se si confrontano RF con altri algoritmi sullo stesso set di dati). D'altra parte, la fonte originale afferma che il fatto che l'errore OOB viene calcolato durante l'addestramento del …

10 cross-validation random-forest overfitting out-of-sample

1

La foresta casuale non può esagerare?

Ho letto della letteratura che le foreste casuali non possono esagerare. Anche se questo suona alla grande, sembra troppo bello per essere vero. È possibile che RF si adatti troppo?

10 random-forest overfitting

2

Spiegazione lucida per la "stabilità numerica dell'inversione della matrice" nella regressione della cresta e il suo ruolo nella riduzione dell'overfit

Capisco che possiamo impiegare la regolarizzazione in un problema di regressione dei minimi quadrati come w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] e che questo problema ha una soluzione a forma chiusa come: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Vediamo che nella seconda equazione, la regolarizzazione sta semplicemente aggiungendo λλ\lambda alla …

10 regression regularization ridge-regression overfitting matrix-inverse

1

Un modello saturo è un caso speciale di un modello sovradimensionato?

Sto cercando di dare un senso a cosa sia un modello saturo. AFAIK è quando hai tante funzionalità quante osservazioni. Possiamo dire che un modello saturo è un caso speciale di un modello estremamente sovradimensionato?

10 overfitting

1

Perché l'eliminazione all'indietro è giustificata quando si effettua la regressione multipla?

Non si traduce in un eccesso di adattamento? I miei risultati sarebbero più affidabili se aggiungessi una procedura jack-knife o bootstrap come parte dell'analisi?

9 multiple-regression bootstrap reliability overfitting jackknife

2

Back-testing o cross-validation quando il processo di costruzione del modello era interattivo

Ho alcuni modelli predittivi di cui vorrei eseguire il back-test delle prestazioni (ovvero, portare il mio set di dati, "riavvolgerlo" a un punto precedente nel tempo e vedere come il modello si sarebbe comportato in modo prospettico). Il problema è che alcuni dei miei modelli sono stati creati tramite un …

9 cross-validation modeling outliers splines overfitting

3

Adattarsi di proposito

Avrebbe senso sovralimentare un modello di proposito? Supponiamo di avere un caso d'uso in cui so che i dati non varieranno molto rispetto ai dati di addestramento. Sto pensando qui alla previsione del traffico, in cui lo stato del traffico segue una serie fissa di schemi pendolarismo mattutino attività notturna …

8 machine-learning time-series forecasting prediction overfitting

Domande taggate «overfitting»