Domande taggate «optimization»

Usa questo tag per qualsiasi utilizzo dell'ottimizzazione all'interno delle statistiche.

4
Perché gli algoritmi di ottimizzazione sono definiti in termini di altri problemi di ottimizzazione?
Sto facendo alcune ricerche sulle tecniche di ottimizzazione per l'apprendimento automatico, ma sono sorpreso di trovare un gran numero di algoritmi di ottimizzazione definiti in termini di altri problemi di ottimizzazione. Illustrerò alcuni esempi di seguito. Ad esempio https://arxiv.org/pdf/1511.05133v1.pdf Sembra tutto bello e buono, ma poi c'è questo nel aggiornamento …
3
Discesa coordinata vs. pendenza
Mi chiedevo quali sono i diversi casi d'uso per i due algoritmi, Coordinate Descent e Gradient Descent . So che la discesa delle coordinate ha problemi con funzioni non fluide, ma è utilizzata in algoritmi popolari come SVM e LASSO. Penso che la discesa gradiente sia usata più ampiamente, specialmente …
4
Come garantire le proprietà della matrice di covarianza quando si adatta il modello normale multivariato utilizzando la massima probabilità?
Supponiamo di avere il seguente modello yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i dove , è un vettore di variabili esplicative, sono i parametri della funzione non lineare e , dove è naturalmente matrice.yi∈RKyi∈RKy_i\in \mathbb{R}^Kxixix_iθθ\thetafffεi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma)ΣΣ\SigmaK×KK×KK\times K L'obiettivo è il solito per stimare e \ Sigma . La scelta ovvia è il metodo della massima verosimiglianza. …
3
Perché la massima probabilità e la probabilità non prevista?
Perché è così comune ottenere stime della massima verosimiglianza dei parametri, ma non si sente praticamente mai delle stime dei parametri di verosimiglianza attese (cioè, basate sul valore atteso piuttosto che sulla modalità di una funzione di verosimiglianza)? Questo è principalmente per ragioni storiche o per ragioni tecniche o teoriche …
1
Esiste una spiegazione intuitiva del perché la regressione logistica non funzionerà per un caso di separazione perfetta? E perché l'aggiunta di regolarizzazione lo risolverà?
Abbiamo molte buone discussioni sulla separazione perfetta nella regressione logistica. Come ad esempio, la regressione logistica in R ha provocato una separazione perfetta (fenomeno di Hauck-Donner). E adesso? e il modello di regressione logistica non converge . Personalmente ritengo ancora che non sia intuitivo il motivo per cui sarà un …
7
Perché le matrici simmetriche positive definite (SPD) sono così importanti?
Conosco la definizione di matrice simmetrica positiva definita (SPD), ma voglio capire di più. Perché sono così importanti, intuitivamente? Ecco quello che so. Cos'altro? Per un dato dato, la matrice di varianza è SPD. La matrice di varianza è una metrica importante, vedi questo eccellente post per una spiegazione intuitiva. …
2
Nelle reti neurali, perché usare metodi a gradiente piuttosto che altre metaeuristiche?
Nell'addestramento di reti neurali profonde e superficiali, perché sono comunemente usati i metodi a gradiente (ad es. Discesa a gradiente, Nesterov, Newton-Raphson) rispetto ad altre metaeuristiche? Per metaeuristica intendo metodi come ricottura simulata, ottimizzazione delle colonie di formiche, ecc., Che sono stati sviluppati per evitare di rimanere bloccati in un …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.