Cosa significa attivare un neurone in una rete neurale?

Mi sono appena imbattuto nel concetto di copertura neuronale, che è il rapporto tra neuroni attivati ​​e neuroni totali in una rete neurale. Ma cosa significa "attivare" un neurone? So quali sono le funzioni di attivazione, ma cosa significa essere attivati, ad esempio nel caso di una ReLU o una funzione sigmoid?

Si dice che un neurone è attivato quando la sua uscita è superiore a una soglia, generalmente 0.

Ad esempio: quando a = w T x + b >

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

Lo stesso vale per sigmoid o altre funzioni di attivazione.

Il termine "attivato" viene utilizzato principalmente quando si parla di funzioni di attivazione che emettono un valore (tranne 0) quando l'ingresso alla funzione di attivazione è maggiore di un determinato treshold.

Soprattutto quando si discute di ReLU può essere usato il termine "attivato". ReLU sarà "attivato" quando l'uscita è maggiore di 0, che è anche quando l'ingresso è maggiore di 0.

Altre funzioni di attivazione, come sigmoid, restituiscono sempre un valore maggiore di 0 e non hanno alcun treshold speciale. Pertanto, il termine "attivato" qui ha meno significato.

Anche se sappiamo poco di loro, anche i neuroni nel cervello sembrano avere qualcosa che assomiglia a una funzione di attivazione con una sorta di "treshold di attivazione".