Perché la discesa gradiente non è efficace per grandi serie di dati?

13

Supponiamo che il nostro set di dati contenga 1 milione di esempi, ovvero e desideriamo utilizzare la discesa gradiente per eseguire una regressione logistica o lineare su questi set di dati. $x_1, \ldots, x_{10^6}$

Cos'è con il metodo di discesa gradiente che lo rende inefficiente?

Ricordiamo che il passo di discesa del gradiente al tempo è dato da: $t$

w_{t + 1} = w_{t} + η_{t} \nabla f (x)

$w_{t+1} = w_{t} + \eta_t \nabla f(x)$

dove è la funzione di perdita. $f$

Non vedo nulla fuori dall'ordinario con il passaggio sopra che rende l'algoritmo inefficiente. È il calcolo di ? Non è possibile pre-calcolare questa operazione, ovvero ogni già stato calcolato e semplicemente valutarli in ciascun punto dati $\nabla f(x)$ $\frac{\partial f}{\partial x}$ $x_i?$

machine-learning gradient-descent large-data

— Carlos - the Mongoose - Danger
fonte

1

Inefficiente rispetto a ...? Anche i quadrati meno inefficienti per un set di dati di grandi dimensioni. È necessaria una notazione O grande per avere idee significative su ciò che la fa all'algoritmo. Non tutti gli algoritmi GD hanno lo stesso grande O. (vero?)

n

$n$

— AdamO

7

Sarebbe utile se fornissi un contesto all'affermazione che la discesa del gradiente è inefficiente. Inefficiente rispetto a cosa?

Immagino che il contesto mancante qui sia il confronto con la discendenza stocastica o gradiente batch nell'apprendimento automatico. Ecco come rispondere alla domanda in questo contesto. Stai ottimizzando i parametri del modello, anche iperparametri. Quindi, hai la funzione di costo , dove - tuoi dati e - vettore dei parametri e - funzione di perdita. Per ridurre al minimo questo costo, utilizzare la discesa gradiente sui parametri : $\sum_{i=1}^n L(x_i|\Theta)$ $x_i$ $\Theta$ $L()$ $\theta_j$

\frac{\partial}{\partial θ_{j}} \sum_{i = 1}^{n} L (Θ | x_{i})

$\frac{\partial}{\partial \theta_j}\sum_{i=1}^nL(\Theta|x_i)$

Quindi, vedi che devi ottenere la somma su tutti i dati . Questo è un peccato, perché significa che continui a scorrere i dati per ogni passaggio della discesa del gradiente. È così che arriva la discesa del gradiente batch e stocastico: cosa succederebbe se campionassimo dal set di dati e calcolassimo il gradiente su un campione, non sul set completo? $x_{i=1,\dots,n}$ Qui,è il numero di osservazioni nel campione. Quindi, se il tuo campione è 1/100 del set totale, acceleri i tuoi calcoli di 100 volte! Ovviamente, questo introduce il rumore, che allunga l'apprendimento, ma il rumore diminuisce al ritmo di

\frac{\partial}{\partial θ_{j}} \sum_{k = 1}^{n_{s}} L (Θ | x_{k})

$\frac{\partial}{\partial \theta_j}\sum_{k=1}^{n_s}L(\Theta|x_k)$

n_{s}

$n_s$

s

$s$

mentre la quantità di calcolo aumenta in

, quindi questo trucco potrebbe funzionare.

\sqrt{n}

$\sqrt n$

n

$n$

In alternativa, invece di attendere fino al calcolo della somma completa , è possibile dividerlo in lotti ed eseguire un passaggio per ciascun lotto . In questo modo avresti fatto M passi quando viene calcolata la somma sull'intero set di dati. Questi sarebbero passi più rumorosi, ma il rumore si annulla nel tempo. $\sum_{i=1}^n$ $\sum_{s=1}^M\sum_{i_s=1}^{n_s}$

— Aksakal
fonte

19

Esistono due modi in cui la discesa del gradiente può essere inefficiente. È interessante notare che ognuno conduce al proprio metodo di riparazione, che sono soluzioni quasi opposte. I due problemi sono:

(1) Sono richiesti troppi aggiornamenti di discesa gradiente.

(2) Ogni fase di discesa del gradiente è troppo costosa.

Per quanto riguarda (1), confrontando la discesa del gradiente con metodi che tengono conto delle informazioni sui derivati del secondo ordine, la discesa del gradiente tende ad essere altamente inefficiente per quanto riguarda il miglioramento della perdita ad ogni iterazione. Un metodo molto standard, il Metodo di Newton , richiede generalmente molte meno iterazioni per convergere, vale a dire per la regressione logistica, 10 iterazioni del Metodo di Newton avranno spesso una perdita inferiore rispetto alla soluzione fornita da 5.000 iterazioni di discesa gradiente. Per la regressione lineare, questo è ancora più estremo; c'è una soluzione a forma chiusa! Tuttavia, poiché il numero di predittori diventa molto elevato (ovvero 500+), il metodo di Newton / la risoluzione diretta della regressione lineare può diventare troppo costoso per iterazione a causa della quantità di operazioni di matrice richieste, mentre la discesa del gradiente avrà un costo notevolmente inferiore per iterazione.

Per quanto riguarda (2), è possibile avere un set di dati così grande che ogni iterazione della discesa del gradiente è troppo costosa per essere calcolata. Il calcolo del gradiente richiederà operazioni ( = dimensione del campione, = numero di covariate). Mentre non è affatto un problema sui computer moderni per valori di , sicuramente qualcosa come , $O(nk)$ $n$ $k$ $n = 10^{6}$ $k < 100$ $n = 10^{12}$ $k = 10^3$ sarà. In questo caso, i metodi che si avvicinano alla derivata in base a sottoinsiemi più piccoli dei dati sono più interessanti, come la discesa gradiente stocastica .

Dico che queste correzioni sono quasi opposte, in quanto qualcosa come il metodo di Newton è più costoso ma più efficiente (in termini di variazione della perdita) per aggiornamento, mentre la discesa gradiente stocastica è in realtà meno efficiente ma molto più computazionalmente più economica per aggiornamento.

— Cliff AB
fonte

k

$k$

2

@Learningonepageatatime: covariates = variabili predittive.

— Cliff AB,

10

$L(w)$ $f(x)$ $L$ $w$ $x$ $w$ $x$

\nabla L (w) = (\frac{\partial L}{\partial w_{1}}, ..., \frac{\partial L}{\partial w_{D}}),

$\nabla L(w) = \left(\frac{\partial L}{\partial w_1}, \dots, \frac{\partial L}{\partial w_D} \right),$

D

$D$

$w$ $x$

L (w) = Σ_{io = 1}^{N} (y_{io} - w^{T} X_{io})^{2} .

$L(w) = \sum_{i=1}^N (y_i - w^Tx_i)^2.$

\nabla L (w)

$\nabla L(w)$

w

$w$

N

$N$

x

$x$

N = 10^{6}

$N = 10^6$

— tddevlin
fonte

3

Risposta breve: il calcolo del gradiente deve essere sommato su tutti i punti dati. Se disponiamo di grandi quantità di dati, ci vorrà molto tempo.

Ho una risposta dettagliata qui.

In che modo la discesa gradiente stocastica può far risparmiare tempo rispetto alla discesa gradiente standard?

D'altra parte, tieni sempre presente che ci sono metodi diretti oltre ai metodi iterativi (gradiente decente). Se vogliamo risolvere un problema almeno quadrato, il metodo diretto può essere super efficiente. Ad esempio, decomposizione QR. Se non abbiamo troppe funzionalità, è molto veloce.

Quando lo verifichi, potrebbe sorprenderti: 5 milioni di punti dati con 2 funzioni, Risolvere la regressione lineare / il minimo quadrato richiede un paio di secondi!

x=matrix(runif(1e7),ncol=2)
y=runif(5e6)
start_time <- Sys.time()
lm(y~x)
end_time <- Sys.time()
end_time - start_time
# Time difference of 4.299081 secs

— Haitao Du
fonte

1

Sebbene i due esempi che hai citato di solito siano convessi, aggiungerò un punto sui problemi non convessi. Secondo me ci sono due ragioni principali per cui la discesa del gradiente (batch) potrebbe essere considerata "inefficiente". Il primo punto sullo sforzo computazionale di calcolare il gradiente di una "grande" somma di funzioni è già stato delineato molto chiaramente nelle altre risposte. Per problemi non convessi, tuttavia, GD ha il problema di rimanere bloccato in un minimo locale "stretto". Questo minimo potrebbe essere molto negativo rispetto al minimo globale. SGD o GD mini-batch hanno il "vantaggio" di vagare (almeno parzialmente) in modo casuale e quindi potrebbero avere la possibilità di trovare un minimo locale migliore. Vedi questa risposta CV qui . O questo altro post CV delineando come la casualità potrebbe essere utile.

— xel
fonte