Qual è la differenza tra ricerca e apprendimento?

Mi sono imbattuto in un articolo, The Bitter Truth , tramite il canale YouTube di Two Minute Papers . Rich Sutton dice ...

Una cosa che dovrebbe essere appresa dalla lezione amara è la grande potenza dei metodi per scopi generali, dei metodi che continuano a ridimensionarsi con un calcolo maggiore anche quando il calcolo disponibile diventa molto grande. I due metodi che sembrano ridimensionarsi arbitrariamente in questo modo sono la ricerca e l' apprendimento .

Qual è la differenza tra ricerca e apprendimento qui? La mia comprensione è che l'apprendimento è una forma di ricerca, in cui cerchiamo iterativamente una rappresentazione dei dati che minimizzi una funzione di perdita nel contesto dell'apprendimento profondo.

Nel contesto dell'IA:

1. La ricerca si riferisce al Risolutore di problemi generali di Simon & Newell ed è composto da molti (molti) algoritmi discendenti. Questi algoritmi assumono la forma:

   un. Rappresenta uno stato corrente di alcune parti del mondo come un vertice in un grafico.

   b. Rappresenta, connesso ai confini dello stato corrente, tutti gli stati del mondo che potrebbero essere raggiunti dallo stato corrente cambiando il mondo con una sola azione, e rappresentano tutti gli stati successivi allo stesso modo.

   c. Trova algoritmicamente una sequenza di azioni che conduce da uno stato corrente a uno stato obiettivo più desiderato, camminando su questo grafico.

Un esempio di un'applicazione che utilizza la ricerca è Google Maps. Un altro è Google Voli.

2. Apprendimento riferisce a qualsiasi algoritmo che raffina una convinzione sul mondo attraverso l'esposizione a esperienze o esempi di esperienze altrui. Gli algoritmi di apprendimento non hanno un genitore chiaro, poiché sono stati sviluppati separatamente in molti sottocampi o discipline diversi. Una tassonomia ragionevole è il modello delle 5 tribù . Alcuni algoritmi di apprendimento usano effettivamente la ricerca al loro interno per capire come cambiare le proprie convinzioni in risposta a nuove esperienze!

   Un esempio di un algoritmo di apprendimento utilizzato oggi è Q-learning , che fa parte della famiglia più generale di algoritmi di apprendimento per rinforzo . Q-learning funziona in questo modo:

   un. Il programma di apprendimento (di solito chiamato il agente ) viene fornita una rappresentazione dello stato attuale del mondo e un elenco di azioni che potrebbe scegliere di eseguire.

   b. Se l'agente non ha mai visto questo stato del mondo prima, assegna un numero casuale alla ricompensa che si aspetta di ottenere per eseguire ogni azione. Memorizza questo numero come$Q(s,a)$, la sua ipotesi sulla qualità dell'azione performativa $a$ in-state $s$.

   c. L'agente guarda$Q(s,a)$per ogni azione che potrebbe eseguire. Scegli l'azione migliore con una certa probabilità$\epsilon$ e altrimenti agisce in modo casuale.

   d. L'azione dell'agente fa cambiare il mondo e può comportare che l'agente riceva una ricompensa dall'ambiente. L'agente prende nota se ha ottenuto una ricompensa (e quanto è stata la ricompensa) e come è il nuovo stato del mondo. Quindi adegua la sua convinzione sulla qualità dell'esecuzione dell'azione compiuta nello stato in cui si trovava in precedenza, in modo che la sua convinzione sulla qualità di quell'azione sia più vicina alla realtà della ricompensa che ha ottenuto e alla qualità di dove finito.

   e. L'agente ripete i passaggi bd per sempre. Nel tempo, le sue convinzioni sulla qualità delle diverse coppie stato / azione convergeranno per abbinare sempre più la realtà.

Un esempio di un'applicazione che utilizza l'apprendimento sono le raccomandazioni AI.SE, che sono fatte da un programma che probabilmente analizza le relazioni tra le diverse combinazioni di parole in coppie di post e la probabilità che qualcuno faccia clic su di esse. Ogni volta che qualcuno fa clic su di essi, viene a sapere se elencare un post come correlato è una buona idea o meno. Il feed di Facebook è un altro esempio quotidiano.

Un modo di pensare alla differenza tra ricerca e apprendimento è che la ricerca di solito comporta una chiave di ricerca e un algoritmo caccia attraverso la struttura alla ricerca di una corrispondenza tra la chiave e un elemento già esistente. Considerando che l'apprendimento è la creazione della struttura in primo luogo. Ma la ricerca e l'apprendimento sono correlati in quanto alla ricezione di un input (diciamo da uno o più sensori) la struttura viene inizialmente cercata per vedere se l'input esiste già, ma se non lo è allora input corrente (quando sono soddisfatte determinate condizioni) viene aggiunto alla struttura e l'apprendimento segue un fallimento della ricerca.