Sto esaminando la funzione di costo dell'entropia incrociata che si trova in questo tutorial :
Cosa stiamo esattamente riassumendo? E ', ovviamente, su , ma e non cambiano con . Tutte le sono input in quello . è persino definito nel paragrafo sopra l'equazione in funzione della somma di tutte le e le .
Inoltre, è definito come il numero di input in questo particolare neurone, giusto? È formulato come "il numero totale di elementi dei dati di addestramento" .
Modificare:
Ho ragione nel pensarlo
sarebbe la funzione di costo per l'intera rete, mentre
sarebbe il costo per il singolo neurone? La somma non dovrebbe essere su ogni neurone in uscita?