Cosa rende le reti neurali così brave nelle previsioni?

Sono un neofita della rete neurale e sto cercando di capire matematicamente cosa rende le reti neurali così brave nei problemi di classificazione.

Prendendo l'esempio di una piccola rete neurale (ad esempio, una con 2 ingressi, 2 nodi in uno strato nascosto e 2 nodi per l'output), tutto ciò che hai è una funzione complessa all'uscita che è per lo più sigmoide su una combinazione lineare del sigmoide.

Quindi, come li rende bravi nelle previsioni? La funzione finale porta a una sorta di adattamento della curva?

Le reti neurali sono brave a classificare. In alcune situazioni che si riduce alla previsione, ma non necessariamente.

La ragione matematica delle abilità delle reti neurali nella classificazione è il teorema di approssimazione universale . Il che afferma che una rete neurale può approssimare qualsiasi funzione continua a valore reale su un sottoinsieme compatto. La qualità dell'approssimazione dipende dal numero di neuroni. È stato anche dimostrato che l'aggiunta di neuroni in strati aggiuntivi invece di aggiungerli a strati esistenti migliora la qualità dell'approssimazione più rapidamente.

Aggiungete a ciò l'efficacia non ben compresa dell'algoritmo di backpropagation e avrete una configurazione quindi potrete effettivamente imparare la funzione che l'UAT promette o qualcosa di simile.

In Neural Networks consideriamo tutto in alta dimensione e proviamo a trovare un iperpiano che li classifichi con piccoli cambiamenti ...

Probabilmente è difficile dimostrare che funziona, ma l'intuizione dice che se può essere classificata puoi farlo aggiungendo un piano rilassato e lasciarlo muovere tra i dati per trovare un locale ottimale ...

Con Neural Networks classifichi semplicemente i dati. Se classifichi correttamente, quindi puoi fare future classificazioni.

Come funziona?

Le reti neurali semplici come Perceptron possono tracciare un confine decisionale per classificare i dati.

Ad esempio, supponiamo di voler risolvere un semplice problema AND con una semplice rete neurale. Hai 4 dati di esempio contenenti x1 e x2 e vettore di peso contenente w1 e w2. Supponiamo che il vettore di peso iniziale sia [0 0]. Se hai effettuato calcoli che dipendono dall'algoritmo NN. Alla fine, dovresti avere un vettore di peso [1 1] o qualcosa del genere.

Si prega di concentrarsi sulla grafica.

Dice: posso classificare i valori di input in due classi (0 e 1). Ok. Quindi come posso farlo? È troppo semplice. Valori di input della prima somma (x1 e x2).

0 + 0 = 0

0 + 1 = 1

1 + 0 = 1

1 + 1 = 2

Dice:

se somma <1,5 allora la sua classe è 0

se somma> 1,5 allora la sua classe è 1

Le reti neurali eccellono in una varietà di compiti, ma per comprendere esattamente il perché, potrebbe essere più facile svolgere un compito particolare come la classificazione e l'immersione più in profondità.

In termini semplici, le tecniche di apprendimento automatico apprendono una funzione per prevedere a quale classe appartiene un determinato input, in base agli esempi passati. Ciò che distingue le reti neurali è la loro capacità di costruire queste funzioni che possono spiegare anche modelli complessi nei dati. Il cuore di una rete neurale è una funzione di attivazione come Relu, che consente di tracciare alcuni limiti di classificazione di base come:

Componendo centinaia di tali Relus insieme, le reti neurali possono creare confini di classificazione arbitrariamente complessi, ad esempio:

In questo articolo, provo a spiegare l'intuizione dietro ciò che fa funzionare le reti neurali: https://medium.com/machine-intelligence-report/how-do-neural-networks-work-57d1ab5337ce