Cosa motiverebbe una macchina?

Attualmente, nell'ambito dello sviluppo dell'IA, l'obiettivo principale sembra essere il riconoscimento dei modelli e l'apprendimento automatico. L'apprendimento riguarda la regolazione delle variabili interne sulla base di un ciclo di feedback.

La gerarchia dei bisogni di Maslow è una teoria psicologica proposta da Abraham Maslow che afferma che i bisogni più elementari degli individui devono essere soddisfatti prima che siano motivati ​​a raggiungere bisogni di livello superiore.

Cosa potrebbe motivare una macchina ad agire? Una macchina dovrebbe avere una sorta di struttura simile al DNA che descriva la sua gerarchia di bisogni (simile alla teoria di Maslow)? Quali potrebbero essere i bisogni fondamentali di una macchina?

L'attuale metodo per attuare la motivazione è una sorta di ricompensa artificiale. Il DQN di Deepmind, ad esempio, è guidato dal punteggio del gioco. Più alto è il punteggio, meglio è. L'intelligenza artificiale impara ad adattare le sue azioni per ottenere il maggior numero di punti e quindi il massimo dei premi. Questo si chiama apprendimento del rinforzo . La ricompensa motiva l'IA ad adattare le sue azioni, per così dire.

In termini più tecnici, l'IA vuole massimizzare l'utilità, che dipende dalla funzione di utilità implementata . Nel caso di DQN, ciò significherebbe massimizzare il punteggio nel gioco.

Il cervello umano funziona in modo simile, sebbene un po 'più complesso e spesso non così diretto. Noi, come esseri umani, di solito proviamo ad adattare le nostre azioni per produrre un'alta produzione di dopamina e serotonina . Questo è in un modo simile alla ricompensa usata per controllare gli IA durante l'apprendimento per rinforzo. Il cervello umano impara quali azioni producono la maggior quantità di tali sostanze e trova strategie per massimizzare l'output. Questa è, ovviamente, una semplificazione di questo processo complesso, ma ottieni il quadro.

Quando parli di motivazione, per favore non confonderla con coscienza o qualia . Quelli non sono richiesti per la motivazione. Se vuoi discutere di coscienza e qualia nell'intelligenza artificiale, è un gioco con la palla totalmente diverso.

Un bambino non è curioso per motivi di curiosità. Ottiene rinforzo positivo durante l'esplorazione perché la funzione di utilità del cervello del bambino premia l'esplorazione rilasciando neurotrasmettitori gratificanti. Quindi il meccanismo è lo stesso. Applicarlo all'intelligenza artificiale significa definire una funzione di utilità che premia nuove esperienze. Non esiste un impulso interiore senza una sorta di ricompensa rinforzante.

Questa è una domanda interessante in realtà.

C'è un'idea abbastanza realistica di "da dove può provenire la curiosità" nel libro "On intelligence" scritto da Jeff Hawkins e Sandra Blakeslee.

Si basa su tali affermazioni:

• La mente crea il proprio modello del mondo in cui esiste.

• Fa previsioni su tutto sempre (in realtà Jeff Hawkins afferma che questa è la principale caratteristica dell'intelligenza).

• Quando la previsione di qualcosa non è stata seguita da un comportamento appropriato del mondo, allora questa cosa diventa molto interessante per la mente (il modello è sbagliato e dovrebbe essere corretto) e ha bisogno di più attenzione.

Ad esempio, quando guardi l'occhio umano sinistro il tuo cervello predice che è un volto umano e dovrebbe esserci un secondo occhio a destra. Guardi a destra e vedi un .. naso! Che sorpresa! Ora ci vuole tutta la tua attenzione e hai questa motivazione per fare più osservazioni su una cosa così strana che non si adattava al tuo modello.

Quindi direi che l'IA potrebbe fare qualcosa di certo secondo il suo modello o comportarsi in modo casuale mentre le previsioni che sta facendo sul mondo sono vere. Ma una volta che una previsione viene interrotta, l'IA ottiene una motivazione per correggere il proprio modello.

In un semplice caso una macchina inizia con una casualità totale semplicemente facendo tutto il possibile con il suo output. Sebbene non abbia un modello o un modello casuale quando rileva un tipo di ordine o modelli ripetuti, si sta "interessando" e lo aggiunge al modello. Dopo un po ', il modello diventa più sofisticato facendo previsioni più complesse e rilevando errori di livello superiore in un modello. Pian piano viene a sapere cosa fare per osservare qualcosa di interessante, invece di ricordare tutto.

Ho posto una domanda simile al professor Richard Sutton , nella prima lezione del corso di apprendimento per rinforzo. Sembra che ci siano diversi modi per motivare la macchina. In effetti, la motivazione della macchina mi sembra un campo di ricerca dedicato.

In genere, le macchine sono motivate da ciò che chiamiamo una funzione oggettiva o una funzione di costo o una funzione di perdita . Questi sono nomi diversi per lo stesso concetto. A volte, sono indicati da

$\min_a L(a)$$\max_a L(a)$$L$

Ho passato un po 'di tempo a pensarci nel contesto dei giochi.

Il problema con le funzioni di ricompensa è che generalmente coinvolgono nodi di ponderazione, il che è utile ma alla fine materialmente insignificante.

Ecco due premi materialmente significativi:

RISORSE COMPUTAZIONALI

Prendi in considerazione un gioco in cui un'intelligenza artificiale non compete per punti, ma per tempo e memoria del processore.

Migliore è il funzionamento dell'algoritmo durante il gioco, maggiore è la memoria e l'elaborazione a cui ha accesso. Ciò ha un effetto pratico: più risorse sono disponibili per gli automi, più forti sono le sue capacità. (vale a dire che la sua razionalità è meno limitata in termini di tempo e spazio per prendere una decisione.) Pertanto l'algoritmo sarebbe "motivato" per prevalere su un simile contesto.

ENERGIA

Tutti gli automi con un grado sufficiente di "autocoscienza", qui specificamente riferiti alla conoscenza che richiede energia per l'elaborazione, sarebbero motivati ​​ad auto-ottimizzare il proprio codice per eliminare il lancio non necessario di bit (consumo di energia non necessario).

Un tale algoritmo sarebbe anche motivato a garantire la sua alimentazione in modo che possa continuare a funzionare.