Statistiche e Big Data hyperparameter

1

Scelta delle dimensioni minibatch appropriate per la discesa gradiente stocastica (SGD)

C'è qualche letteratura che esamina la scelta della dimensione del minibatch quando si esegue la discesa gradiente stocastica? Nella mia esperienza, sembra essere una scelta empirica, di solito trovata attraverso la convalida incrociata o usando varie regole empiriche. È una buona idea aumentare lentamente le dimensioni del minibatch man mano …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Densità hyperprior per modello gerarchico Gamma-Poisson

In un modello gerarchico di dati cui y ∼ Poisson ( λ ) λ ∼ Gamma ( α , β ) sembra essere in pratica tipico scegliere valori ( α , β ) in modo tale che la media e la varianza della distribuzione gamma corrispondano approssimativamente al media e …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Perché non impariamo solo i parametri iper?

Stavo implementando un articolo piuttosto popolare " SPIEGAZIONE E CABLAGGIO DI ESEMPI AVVERSARI " e nel documento, forma una funzione oggettiva contraddittoria J '' (θ) = αJ (θ) + (1 - α) J '(θ). Tratta α come iperparametro. α può essere 0,1, 0,2, 0,3, ecc. Indipendentemente da questo documento specifico, …

11 machine-learning neural-networks deep-learning hyperparameter

1

Relazione tra tasso di apprendimento e numero di livelli nascosti?

Esiste una regola empirica tra la profondità di una rete neurale e il tasso di apprendimento? Ho notato che più profonda è la rete, più basso deve essere il tasso di apprendimento. Se è corretto, perché?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Convalida incrociata nidificata: in cosa differisce dalla selezione del modello tramite CV di Kfold sul set di addestramento?

Vedo spesso persone che parlano della convalida incrociata 5x2 come un caso speciale di convalida incrociata nidificata . Suppongo che il primo numero (qui: 5) si riferisca al numero di pieghe nell'anello interno e il secondo numero (qui: 2) si riferisca al numero di pieghe nell'anello esterno? Quindi, in che …

10 machine-learning cross-validation hyperparameter

1

Nella regressione lineare, perché la regolarizzazione penalizza anche i valori dei parametri?

Attualmente sto imparando la regressione della cresta ed ero un po 'confuso riguardo alla penalizzazione di modelli più complessi (o alla definizione di un modello più complesso). Da quanto ho capito, la complessità del modello non è necessariamente correlata all'ordine polinomiale. Quindi: 2 + 3 + 4 x2+ 5 x3+ …

9 regression regularization hyperparameter

1

Perché vengono divulgate informazioni sui dati di convalida se durante la regolazione degli iperparametri valuto le prestazioni del modello sui dati di convalida?

Nel Deep Learning di Poison di François Chollet si dice: Di conseguenza, l'ottimizzazione della configurazione del modello in base alle prestazioni sul set di convalida può comportare rapidamente un overfitting al set di convalida, anche se il modello non viene mai addestrato direttamente su di esso. Al centro di questo …

9 neural-networks cross-validation hyperparameter

Domande taggate «hyperparameter»