2
Quando utilizzare (He o Glorot) inizializzazione normale su init uniforme? E quali sono i suoi effetti con la normalizzazione batch?
Sapevo che Residual Network (ResNet) rendeva popolare la normale inizializzazione. In ResNet viene utilizzata l'inizializzazione normale He , mentre il primo livello utilizza l'inizializzazione uniforme He. Ho esaminato il documento ResNet e il documento "Delving Deep into Rectifiers" (He, documento di inizializzazione), ma non ho trovato alcuna menzione sul normale …