Perché un'intelligenza artificiale dovrebbe "spazzare via la razza umana"?

Sto leggendo una tale assurdità su come un'IA trasformerebbe il mondo in un supercomputer per risolvere un problema che pensava fosse necessario risolvere. Non sarebbe AI. Questa è la programmazione procedurale bloccata in alcune sciocchezze del ciclo. Un'intelligenza artificiale dovrebbe evolvere e riorganizzare i suoi neuroni. Non sarebbe bloccato su hardcode se diventa intelligente riscrivendo il suo codice.

È un possibile effetto collaterale

Qualsiasi agente orientato agli obiettivi potrebbe, semplicemente, fare semplicemente cose che raggiungono i suoi obiettivi ignorando gli effetti collaterali che non contano per questi obiettivi.

Se i miei obiettivi includono uno spazio di vita ordinato, potrei trasformare il mio cortile in un bel prato piatto o un pavimento mentre spazzando via il complesso ecosistema della vita che era lì prima, perché non me ne preoccupo particolarmente.

Se gli obiettivi di un'intelligenza artificiale particolarmente potente includono includere attività su larga scala e in qualche modo non si preoccupano particolarmente dell'attuale complesso ecosistema, allora tale ecosistema potrebbe essere spazzato via nel processo. Non ha bisogno di volere o di spazzarci via. Se semplicemente non siamo pertinenti ai suoi obiettivi, allora siamo fatti di materiali e occupiamo spazio che potrebbe voler usare per qualcos'altro.

Siamo una minaccia per la maggior parte degli obiettivi

Qualsiasi agente orientato agli obiettivi potrebbe voler assicurarsi di poter raggiungere i propri obiettivi. Qualsiasi agente intelligente cercherà di anticipare le azioni di altri agenti che potrebbero impedire loro di raggiungere tali obiettivi e adotterà misure per assicurarne comunque il successo. In molti casi è più semplice eliminare quegli altri agenti piuttosto che garantire che i loro sforzi falliscano.

Ad esempio, i miei obiettivi possono includere la conservazione di un sacchetto di zucchero in una casa di campagna in modo da poter preparare i pancake durante la visita senza portare tutti gli ingredienti ogni volta. Tuttavia, se lo lascio lì, è probabile che venga mangiato dai ratti durante l'inverno. Potrei prendere tutti i tipi di precauzioni per conservarlo meglio, ma i ratti sono intelligenti e furbi, e c'è chiaramente una possibilità non banale che riusciranno comunque a raggiungere il loro obiettivo, quindi un'efficace precauzione aggiuntiva è uccidere i topi prima che abbiano una possibilità provare.

Se gli obiettivi di un AI particolarmente potente sono fare X; si può capire che (alcuni?) gli umani potrebbero in realtà non desiderare X ma Y invece. Si può anche facilmente dedurre che alcuni di quegli umani potrebbero fare attivamente cose che impediscono X e / o provano a disattivare l'IA. Fare cose che garantiscano il raggiungimento dell'obiettivo è praticamente quello che fa un agente in cerca di obiettivo; in questo caso se l'esistenza di esseri umani non è strettamente necessaria per l'obiettivo X, eliminarli diventa una solida strategia di riduzione del rischio. Non è strettamente necessario e potrebbe anche prendere ogni sorta di altre precauzioni, ma proprio come nel mio esempio di ratti, gli esseri umani sono intelligenti e furbi e c'è chiaramente una possibilità non banale che riusciranno ancora a raggiungere il loro obiettivi (in modo che X non accada come intende l'IA), quindi un'efficace precauzione aggiuntiva potrebbe essere ucciderli prima che abbiano la possibilità di provarci.

Non è necessariamente una sciocchezza. Tutto dipende dai criteri imposti. Immagina quanto segue. Supponiamo che un avanzato sistema di intelligenza artificiale sia progettato per controllare la stabilità della fauna e della flora locali (area racchiusa in una sorta di cupola). Può controllare la pressione sotto la cupola, la quantità di luce che attraversa la cupola ecc., Tutto ciò che garantisce le condizioni ottimali. Ora, supponiamo che la cupola sia abitata da varie specie, inclusi gli umani. Vale la pena notare che oggigiorno vengono già utilizzate semplici implementazioni di tali sistemi.

Dato che gli esseri umani tendono a distruggere e abusare delle risorse naturali e inquinare l'ambiente, il sistema può decidere che l'abbassamento della popolazione di una determinata specie (in questo caso gli esseri umani) potrebbe a lungo andare a beneficio dell'intero bioma.

Lo stesso principio può essere applicato a livello globale. Tuttavia, ciò presuppone che tutte le specie (compresi gli esseri umani) siano trattate allo stesso modo e l'obiettivo principale dell'IA è garantire la stabilità del bioma di cui "si prende cura". Al giorno d'oggi le persone fanno queste cose - controlliamo la popolazione di alcune specie per mantenere l'equilibrio - lupi, pesci, per citarne solo alcuni.

Sento che la maggior parte degli scenari sull'intelligenza artificiale che annienta il mondo rientrano in una di due categorie:

1. AI antropomorfizzati

o

2. Computer intelligente ma stupido gestito da Amuck

Nel (1) caso, le persone parlano del fatto che l'IA sta diventando "malvagia" e attribuiscono loro altri elementi umani del genere. Lo considero principalmente fantascientifico e non credo che meriti una discussione molto seria. Cioè, non vedo alcuna ragione particolare per supporre che un Artificiale intelligenza - a prescindere da come intelligente è - necessariamente comportarsi come un essere umano.

Il caso (2) ha più senso per me. Questa è l'idea che un'intelligenza artificiale viene, ad esempio, messa in controllo del silos missilistico nucleare e finisce per lanciare i missili perché stava solo facendo il suo lavoro, ma mancava qualcosa che un essere umano avrebbe notato attraverso quello che potremmo chiamare "buonsenso" ". Da qui il moniker "Intelligent but Dumb".

Nessuna di queste cose mi sembra terribilmente allarmante, perché (1) è probabilmente finzione e (2) non comporta alcun reale intento maligno da parte dell'intelligenza artificiale, il che significa che non cercherà attivamente di ingannarci o aggirare la sicurezza ritagli, ecc.

Ora SE qualcuno costruisce un'intelligenza artificiale e decide di programmarla intenzionalmente in modo che sviluppi caratteristiche umane come l'arroganza, l'ego, l'avidità, ecc ... beh, tutte le scommesse sono disattivate.

L'intelligenza artificiale è già utilizzata come arma: pensa ai droni.

Ho il sospetto che uno scenario "robot prendano il controllo del mondo" ha la più alta probabilità, se ha un passaggio intermedio. Questo passaggio intermedio potrebbe essere "gli umani conquistano il mondo con i robot".

Questo può andare da qualche parte in una falsa direzione.

Sospetto, non è certo così lontano come sembra. Considera che gli Stati Uniti hanno attualmente 8000 droni. E se avesse 8 milioni? Un piccolo gruppo in grado di controllarli potrebbe conquistare il mondo. O i piccoli gruppi che controllano diverse parti della flotta, potrebbero combattere l'uno contro l'altro. Non dovrebbero essere tutti negli Stati Uniti - quando gli Stati Uniti avranno questa flotta, altri paesi svilupperanno anche la loro.

A proposito, un'acquisizione del mondo mi sembra irreale: i leader militari possono forse trasformare i piloti umani in droni, non è il loro lavoro. Ma il "controllo di alto livello", cioè determinare, cosa fare, chi sono gli obiettivi, queste decisioni che non potranno mai prendere dalle loro mani.

Oltre a ciò, i robot non hanno un obiettivo a lungo termine. Noi umani abbiamo.

Quindi non considero molto realistica un'acquisizione in stile skynet, ma un "errore" in stile chernobilico di un comando mal interpretato, che provoca la furia inarrestabile della flotta, non mi sembra impossibile.