Statistiche e Big Data convex

6

Perché studiare l'ottimizzazione convessa per l'apprendimento automatico teorico?

Sto lavorando sull'apprendimento automatico teorico - sull'apprendimento di trasferimento, per essere precisi - per il mio dottorato di ricerca. Per curiosità, perché dovrei seguire un corso sull'ottimizzazione convessa? Quali sono i vantaggi dell'ottimizzazione convessa che posso utilizzare nella mia ricerca sull'apprendimento automatico teorico?

27 machine-learning optimization convex transfer-learning

6

Per problemi convessi, il gradiente in Discesa gradiente stocastica (SGD) indica sempre il valore estremo globale?

Data una funzione di costo convesso, usando SGD per l'ottimizzazione, avremo un gradiente (vettore) ad un certo punto durante il processo di ottimizzazione. La mia domanda è, dato il punto sul convesso, il gradiente punta solo nella direzione in cui la funzione aumenta / diminuisce più velocemente, oppure il gradiente …

25 neural-networks optimization gradient-descent sgd convex

1

Perché la funzione di costo delle reti neurali non è convessa?

C'è un thread simile qui (la funzione di costo della rete neurale non è convessa? ) Ma non sono stato in grado di capire i punti nelle risposte lì e il mio motivo per chiedere di nuovo sperando che questo chiarisca alcuni problemi: Se utilizzo somma di funzione di costo …

22 machine-learning neural-networks optimization loss-functions convex

3

Possono esserci più soluzioni ottimali locali quando risolviamo una regressione lineare?

Ho letto questa affermazione su un vecchio esame vero / falso: Siamo in grado di ottenere soluzioni ottimali locali multiple se risolviamo un problema di regressione lineare riducendo al minimo la somma degli errori al quadrato mediante la discesa del gradiente. Soluzione: falsa La mia domanda è: quale parte di …

19 least-squares gradient-descent convex

3

L'ottimizzazione della PCA è convessa?

La funzione oggettiva dell'analisi dei componenti principali (PCA) è ridurre al minimo l'errore di ricostruzione nella norma L2 (vedere la sezione 2.12 qui . Un'altra visione sta cercando di massimizzare la varianza sulla proiezione. Abbiamo anche un post eccellente qui: qual è la funzione oggettiva della PCA ? ). La …

12 machine-learning pca optimization convex

4

Come applicare il metodo IRLS (Least Squares Squares Squares) al modello LASSO?

Ho programmato una regressione logistica usando l' algoritmo IRLS . Vorrei applicare una penalità LASSO per selezionare automaticamente le funzionalità giuste. Ad ogni iterazione, viene risolto quanto segue: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Sia un numero reale non negativo. Non sto penalizzando l'intercettazione come suggerito in The Elements of. Apprendimento statistico . Idem …

12 logistic generalized-linear-model feature-selection lasso convex

Domande taggate «convex»