Prevedere la fiducia di una rete neurale

Supponiamo di voler formare una rete neurale profonda per eseguire la classificazione o la regressione, ma voglio sapere quanto sarà sicura la previsione. Come ho potuto raggiungere questo obiettivo?

La mia idea è di calcolare l'entropia crociata per ogni dato di allenamento, in base alle sue prestazioni di previsione nei misuratori neurali sopra. Quindi, avrei addestrato una seconda rete neurale per la regressione, che avrebbe preso ogni dato come input, ed è l'entropia incrociata come output (un nodo di output). In pratica useresti entrambe le reti: una per la previsione dell'etichetta / valore e l'altra per la previsione della fiducia della prima rete. (.... Ma avrei bisogno di una terza rete per prevedere la fiducia della seconda rete, e così via ...?!)

È un'idea valida? Inoltre, è un'idea standard comunemente usata? In caso contrario, cosa suggeriresti?

Forse sto fraintendendo la domanda, ma per la classificazione mi sembra che il modo standard sia di avere un neurone in uscita per ciascuna delle Nclassi.

Quindi il Nvettore dei [0, 1]valori di output rappresenta la probabilità dell'input che appartiene a ciascuna classe e quindi può essere interpretato come la "fiducia" che si desidera ottenere.

Per le persone interessate alla stima della fiducia nelle previsioni di NN, potresti dare un'occhiata a Dropout come approssimazione bayesiana: rappresentare l'incertezza del modello nel deep learning (Gal et al., 2016) . In breve, dimostra come la varianza delle previsioni di una rete con dropout su una popolazione di esecuzioni in cui viene eseguito il dropout può essere utilizzata per stimare la sicurezza della previsione. Questo approccio può essere utilizzato per reti progettate per la classificazione o per la regressione.