2
Strano comportamento con Adam Optimizer quando ci si allena troppo a lungo
Sto cercando di addestrare un singolo percettrone (1000 unità di input, 1 output, nessun layer nascosto) su 64 punti dati generati casualmente. Sto usando Pytorch usando l'ottimizzatore Adam: import torch from torch.autograd import Variable torch.manual_seed(545345) N, D_in, D_out = 64, 1000, 1 x = Variable(torch.randn(N, D_in)) y = Variable(torch.randn(N, D_out)) …