Statistiche e Big Data optimization

3

Le tecniche di ottimizzazione sono associate a tecniche di campionamento?

Da qualsiasi algoritmo di campionamento generico, si può derivare un algoritmo di ottimizzazione. Infatti, per massimizzare una funzione arbitraria , è sufficiente estrarre campioni da . Per abbastanza piccolo, questi campioni cadranno vicino al massimo globale (o ai massimi locali in pratica) della funzione .g ∼ e f / Tf: …

18 sampling optimization

3

C'è un modo per massimizzare / minimizzare una funzione personalizzata in R?

Sto cercando di ridurre a icona una funzione personalizzata. Dovrebbe accettare cinque parametri e il set di dati ed eseguire tutti i tipi di calcoli, producendo un singolo numero come output. Voglio trovare una combinazione di cinque parametri di input che produce il più piccolo output della mia funzione.

18 r optimization

2

I metodi di ricerca di linea sono utilizzati nell'apprendimento profondo? Perchè no?

Molti tutorial online parlano della discesa del gradiente e quasi tutti usano un passo fisso (tasso di apprendimento ). Perché la ricerca della linea non viene utilizzata (come la ricerca della riga di backtracking o la ricerca della riga esatta)?αα\alpha

18 machine-learning neural-networks optimization deep-learning

3

In che modo la dimensione del lotto influenza la convergenza di SGD e perché?

Ho visto conclusioni simili da molte discussioni, che con l'aumentare delle dimensioni del minibatch la convergenza di SGD diventa effettivamente più difficile / peggio, ad esempio questo documento e questa risposta . Ho anche sentito parlare di persone che usano trucchi come piccoli tassi di apprendimento o dimensioni dei lotti …

18 machine-learning neural-networks optimization gradient-descent sgd

1

Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati?

Perché l'utilizzo del metodo di Newton per l'ottimizzazione della regressione logistica si chiama minimi quadrati iterativi ripesati? Non mi sembra chiaro perché la perdita logistica e la perdita dei minimi quadrati sono cose completamente diverse.

18 logistic generalized-linear-model optimization irls fisher-scoring

2

I campioni di allenamento estratti casualmente per le reti neurali di addestramento mini-batch devono essere estratti senza sostituzione?

Definiamo un'epoca come aver esaminato tutti i campioni di addestramento disponibili e le dimensioni del mini-lotto come il numero di campioni su cui calcoliamo la media per trovare gli aggiornamenti ai pesi / errori necessari per scendere il gradiente. La mia domanda è se dovremmo trarre senza sostituzione dall'insieme degli …

18 machine-learning neural-networks optimization deep-learning

2

La discesa del gradiente può essere applicata a funzioni non convesse?

Sto solo imparando l'ottimizzazione e ho difficoltà a capire la differenza tra ottimizzazione convessa e non convessa. Secondo la mia comprensione, una funzione convessa è quella in cui "il segmento di linea tra due punti qualsiasi sul grafico della funzione si trova sopra o sul grafico". In questo caso, è …

18 optimization

4

Perché i derivati di secondo ordine sono utili nell'ottimizzazione convessa?

Immagino che questa sia una domanda di base e abbia a che fare con la direzione del gradiente stesso, ma sto cercando esempi in cui i metodi del 2 ° ordine (ad es. BFGS ) sono più efficaci della semplice discesa del gradiente.

18 optimization

3

Quale algoritmo di ottimizzazione viene utilizzato nella funzione glm in R?

È possibile eseguire una regressione del log in R utilizzando tale codice: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Sembra che l'algoritmo di ottimizzazione sia converto - ci sono informazioni sul numero di passaggi dell'algoritmo di punteggio …

17 r generalized-linear-model optimization algorithms logit

1

Jenks Natural Breaks in Python: come trovare il numero ottimale di pause?

Ho trovato questa implementazione di Python del Breaks Jenks naturale algoritmo e ho potuto farlo funzionare sulla mia macchina Windows 7. È abbastanza veloce e trova le pause in poco tempo, considerando le dimensioni dei miei geodati. Prima di utilizzare questo algoritmo di clustering per i miei dati, stavo usando …

17 python clustering optimization

2

Cosa sta succedendo qui, quando utilizzo la perdita quadrata nell'impostazione della regressione logistica?

Sto cercando di usare la perdita quadrata per fare la classificazione binaria su un set di dati giocattolo. Sto usando il mtcarsset di dati, uso il miglio per gallone e il peso per prevedere il tipo di trasmissione. Il diagramma seguente mostra i due tipi di dati del tipo di …

16 r machine-learning logistic optimization loss-functions

2

Differenza di errore standard residua tra optim e glm

Provo a riprodurre con optimi risultati di una semplice regressione lineare dotata di glmo anche nlsfunzioni R. Le stime dei parametri sono le stesse ma la stima della varianza residua e gli errori standard degli altri parametri non sono gli stessi, in particolare quando la dimensione del campione è bassa. …

16 r maximum-likelihood optimization

1

Significato di un avviso di convergenza in glmer

Sto usando la glmerfunzione dal lme4pacchetto in R, e sto usando l' bobyqaottimizzatore (cioè il valore predefinito nel mio caso). Ricevo un avviso e sono curioso di sapere cosa significhi. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust …

16 r optimization lme4-nlme convergence glmm

3

Fare grandi (intelligenti) scommesse

Ho cercato di codificare un algoritmo per suggerire scommesse in giochi 1X2 (ponderati). Fondamentalmente, ogni partita ha una serie di partite (squadre in casa vs squadre in trasferta): 1: vince la casa X: disegnare 2: vince via Per ogni partita e simbolo ( 1, Xe 2), assegnerò una percentuale che …

16 optimization

2

Perché facciamo grandi storie sull'uso del punteggio Fisher quando ci si adatta a un GLM?

Sono curioso di sapere perché trattiamo GLMS come se fossero un problema di ottimizzazione speciale. Sono loro? Mi sembra che siano solo la massima verosimiglianza e che annotiamo la verosimiglianza e poi ... la massimizziamo! Quindi, perché utilizziamo il punteggio di Fisher anziché una miriade di schemi di ottimizzazione sviluppati …

16 generalized-linear-model optimization fisher-scoring

Domande taggate «optimization»