Sto leggendo l'articolo chiave Sequence to Sequence Learning con Neural Networks di Ilya Sutskever e Quoc Le. Nella prima pagina, menziona brevemente che:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Qualcuno può delineare brevemente come ordinare i numeri usando solo 2 livelli nascosti?
Risposte:
Facendo delle ricerche, ho trovato un documento che dimostra che l'ordinamento può essere fatto con un massimo di 3 strati e che la loro soluzione è ottimale se si limita la dimensione della rete per essere polinomiale rispetto al numero di numeri di input:
Reti neurali efficienti di profondità per problemi di divisione e correlati , vedere Teorema 7 a pagina 955 (pagina 10 nel PDF).
Immagino che uno potrebbe inventare manualmente i pesi per fare esattamente il lavoro, ma forse il punto è essere in grado di allenarne uno? Un paio di esempi:
Come ordinare i numeri utilizzando la rete neurale convoluzionale?