Statistiche e Big Data optimization

1

Perché l'algoritmo di discesa "Saddle-Freeton Newton" non viene utilizzato nella pratica?

Di recente ho letto un articolo di Yann Dauphin et al. Identificazione e attacco del problema del punto di sella nell'ottimizzazione non convessa ad alta dimensione , in cui introducono un interessante algoritmo di discesa chiamato Saddle-Free Newton , che sembra essere esattamente su misura per l'ottimizzazione della rete neurale …

13 optimization deep-learning gradient-descent

2

Il deep learning è utile per l'ottimizzazione combinatoria?

Ci sono gruppi di ricerca che stanno lavorando sull'apprendimento profondo per problemi di ottimizzazione combinatoria?

13 optimization deep-learning

3

Qualcuno può spiegare l'algoritmo di retro-propagazione? [duplicare]

Questa domanda ha già risposte qui : Algoritmo di backpropagation (2 risposte) Chiuso 3 mesi fa . Cos'è l'algoritmo di retro-propagazione e come funziona?

13 algorithms optimization neural-networks

1

Ottimizzazione dell'iperparametro nella regressione del processo gaussiana

Sto cercando di ottimizzare gli iperparametri dell'algoritmo di regressione del processo gaussiano che ho implementato. Voglio semplicemente massimizzare la verosimiglianza marginale data dalla formula dove K è la matrice di covarianza con il elementi K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac …

13 regression optimization gaussian-process hyperparameter

3

L'ottimizzazione della PCA è convessa?

La funzione oggettiva dell'analisi dei componenti principali (PCA) è ridurre al minimo l'errore di ricostruzione nella norma L2 (vedere la sezione 2.12 qui . Un'altra visione sta cercando di massimizzare la varianza sulla proiezione. Abbiamo anche un post eccellente qui: qual è la funzione oggettiva della PCA ? ). La …

12 machine-learning pca optimization convex

2

Come risolvere la minima deviazione assoluta con il metodo simplex?

Ecco il problema di deviazione meno assoluto in questione: argminwL(w)=∑ni=1|yi−wTx|arg⁡minwL(w)=∑i=1n|yi−wTx| \underset{\textbf{w}}{\arg\min} L(w)=\sum_{i=1}^{n}|y_{i}-\textbf{w}^T\textbf{x}| . So che può essere riorganizzato come problema LP nel seguente modo: min∑ni=1uimin∑i=1nui\min \sum_{i=1}^{n}u_{i} ui≥xTw−yii=1,…,nui≥xTw−yii=1,…,nu_i \geq \textbf{x}^T\textbf{w}- y_{i} \; i = 1,\ldots,n ui≥−(xTw−yi)i=1,…,nui≥−(xTw−yi)i=1,…,nu_i \geq -\left(\textbf{x}^T\textbf{w}-y_{i}\right) \; i = 1,\ldots,n Ma non ho idea di risolverlo passo dopo passo, …

12 regression optimization quantile-regression linear-programming least-absolute-deviations

1

L'ottimizzatore lme4 predefinito richiede molte iterazioni per dati ad alta dimensione

TL; DR: l' lme4ottimizzazione sembra essere lineare nel numero di parametri del modello per impostazione predefinita ed è molto più lenta di un glmmodello equivalente con variabili fittizie per gruppi. C'è qualcosa che posso fare per accelerarlo? Sto cercando di adattare un modello logit gerarchico abbastanza grande (~ 50k righe, …

12 r mixed-model optimization lme4-nlme numerics

1

Cosa significa "variazionale"?

L'uso di "variazionale" si riferisce sempre all'ottimizzazione tramite inferenza variazionale? Esempi: "Auto-codificatore variabile" "Metodi bayesiani variazionali" "Gruppo di rinormalizzazione variazionale"

12 machine-learning optimization inference

1

RMSProp e Adam vs SGD

Sto eseguendo esperimenti sul set di validazione EMNIST usando le reti con RMSProp, Adam e SGD. Sto ottenendo una precisione dell'87% con SGD (tasso di apprendimento di 0,1) e dropout (0.1 drop prob) e regolarizzazione L2 (penalità 1e-05). Quando collaudo la stessa configurazione esatta con RMSProp e Adam, nonché il …

12 machine-learning optimization sgd adam

2

Che cos'è il vincolo maxnorm? In che modo è utile nelle reti neurali convoluzionali?

Ecco un esempio di codice keras che lo utilizza: from keras.constraints import max_norm model.add(Convolution2D(32, 3, 3, input_shape=(3, 32, 32), border_mode='same', activation='relu', kernel_constraint=max_norm(3)))

12 neural-networks regularization conv-neural-network optimization

2

Usa il coefficiente di correlazione di Pearson come obiettivo di ottimizzazione nell'apprendimento automatico

Nell'apprendimento automatico (per problemi di regressione), vedo spesso errore medio quadrato (MSE) o errore assoluto medio (MAE) utilizzato come funzione di errore per minimizzare (oltre al termine di regolarizzazione). Mi chiedo se ci sono situazioni in cui l'uso del coefficiente di correlazione sarebbe più appropriato? se tale situazione esiste, quindi: …

12 regression machine-learning svm optimization deep-learning

1

Qual è la connessione tra regolarizzazione e metodo dei moltiplicatori di lagrange?

Per evitare il sovradimensionamento delle persone, le persone aggiungono un termine di regolarizzazione (proporzionale alla somma quadrata dei parametri del modello) con un parametro di regolarizzazione alla funzione di costo della regressione lineare. Questo parametro lo stesso di un moltiplicatore di lagrange? Quindi la regolarizzazione è la stessa del metodo …

12 regression optimization regularization

1

Test esatto di Fisher e distribuzione ipergeometrica

Volevo capire meglio il test esatto del pescatore, quindi ho escogitato il seguente esempio di giocattolo, dove f e m corrispondono a maschio e femmina e n e y corrispondono a "consumo di soda" in questo modo: > soda_gender f m n 0 5 y 5 0 Ovviamente, questa è …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Ottimizzazione di una macchina vettoriale di supporto con programmazione quadratica

Sto cercando di comprendere il processo di addestramento di una macchina vettoriale di supporto lineare . Mi rendo conto che le proprietà degli SMV consentono loro di essere ottimizzate molto più rapidamente rispetto all'utilizzo di un risolutore di programmazione quadratico, ma a fini di apprendimento mi piacerebbe vedere come funziona. …

12 r svm optimization

2

I parametri di massima verosimiglianza si discostano dalle distribuzioni posteriori

Ho una funzione di verosimiglianza per la probabilità dei miei dati dati alcuni parametri del modello , che vorrei stimare. Assumendo priori piatti sui parametri, la probabilità è proporzionale alla probabilità posteriore. Uso un metodo MCMC per provare questa probabilità.L (d| θ)L(d|θ)\mathcal{L}(d | \theta)dddθ ∈ RNθ∈RN\theta \in \mathbf{R}^N Osservando la …

11 bayesian maximum-likelihood optimization inference mcmc

Domande taggate «optimization»