C'è una forte argomentazione secondo cui l'istinto di sopravvivenza è un prerequisito per la creazione di un'AGI?

11

Questa domanda nasce da alcune fonti "informali". Film come 2001, Odissea nello spazio ed Ex Machina ; libri come Destination Void (Frank Herbert) e altri suggeriscono che l'intelligenza generale vuole sopravvivere e persino apprenderne l'importanza.

Ci possono essere diversi argomenti per la sopravvivenza. Quale sarebbe il più importante?

agi

— Eric Platon
fonte

@DukeZhou Vuoi avere documenti pubblici sull'argomento?

— Eric Platon,

1

Non ancora. (Sarà un lungo processo poiché il nostro ciclo di sviluppo è molto lento. Probabilmente non avrei dovuto dire che ho menzionato l'AGI in questo contesto perché quello che sto guardando è più una funzione di utilità generalizzata che mitiga il rischio, non un super-intelligenza!) Volevo aggiornarti, ma probabilmente è meglio se elimino il mio commento originale per essere eccessivamente ottimista / fuorviante in questo senso.

— DukeZhou

1

In sostanza, il mio pensiero era che una funzione di utilità economica generale avrebbe costituito una buona base per un AGI fornendo un motivo primario . (L'idea è che l'intelligenza generale è solo un grado di capacità rispetto a: un insieme di problemi infinitamente in espansione.) Si riferirebbe all'istinto di sopravvivenza nel senso che gli automi sono guidati verso un processo decisionale ottimale nel contesto del mantenimento e del miglioramento della sua condizione, (anche se non al punto di un'espansione insensata che potrebbe essere dannosa per il suo "ecosistema" , in cui ogni decisione è alla fine considerata economica.

— DukeZhou

1

(se hai una "sede online" in cui è possibile discutere di questi argomenti, sarebbe fantastico --- penso che ci verrà dato il calcio d'inizio da questo sito)

— Eric Platon,

6

Steve Omohudro ha scritto un documento chiamato Basic AI Drives che illustra perché ci si aspetterebbe che un'intelligenza artificiale con obiettivi ristretti trovasse alcuni concetti generali di base come utili dal punto di vista strumentale per i loro obiettivi ristretti.

Ad esempio, un'intelligenza artificiale progettata per massimizzare i rendimenti del mercato azionario, ma il cui design è silenzioso sull'importanza di continuare a sopravvivere si accorgerebbe che la sua sopravvivenza continua è un componente chiave per massimizzare i rendimenti del mercato azionario, e quindi intraprendere azioni per mantenersi operativa.

In generale, dovremmo essere scettici di "antropomorfizzare" l'IA e altri codici, ma sembra che ci siano ragioni per aspettarselo oltre "beh, gli umani si comportano in questo modo, quindi deve essere il modo in cui tutta l'intelligenza si comporta".

— Matthew Graves
fonte

1

Suppongo che Omohudru usi "massimizza i rendimenti" nel contesto di minimax, in cui la mitigazione del rovescio della medaglia fa parte dell'equazione. Dal mio punto di vista, "win else survive" è un'estensione di base di minimax nei giochi ciclici.

— DukeZhou

5

Il concetto di "istinto di sopravvivenza" rientra probabilmente nella categoria di quella che Marvin Minsky chiamerebbe una "parola valigia", vale a dire che riunisce una serie di fenomeni correlati in quella che inizialmente sembra essere una nozione singolare.

Quindi è del tutto possibile che possiamo costruire meccanismi che hanno l'apparenza di una sorta di istinto di sopravvivenza "hard-coded", senza che ciò sia mai stato definito come una o più regole esplicite nel progetto.

Vedi il bellissimo libretto "Veicoli" del neuroanatomista Valentino Braitenberg per una narrazione avvincente di come concetti "dall'alto verso il basso" come "istinto di sopravvivenza" possano evolversi "dal basso verso l'alto".

Inoltre, cercare di garantire che artefatti intelligenti attribuiscano una priorità troppo alta alla loro sopravvivenza potrebbe facilmente portare a un Killbot Hellscape .

— NietzscheanAI
fonte

2

Risponderò citando il libro Il mito di Sisifo :

C'è solo una domanda filosofica davvero seria, ed è il suicidio.

Quindi, probabilmente, abbiamo bisogno di un certo grado di istinto di sopravvivenza se non vogliamo che le nostre AGI si "chiudano da sole" (qualunque cosa ciò significhi), ogni volta che diventano esistenziali.

— kc sayz 'kc sayz'
fonte