Quali limiti, se del caso, pone il problema dell'arresto all'intelligenza artificiale?

Dato il comprovato problema di arresto per le macchine di Turing , possiamo dedurre limiti sulla capacità di una forte intelligenza artificiale?

Il problema dell'arresto implica dei limiti alla cognizione umana?

Sì, assolutamente - che ci sono pezzi di codice che un essere umano potrebbe guardare e non essere sicuro se si fermerà o meno a tempo finito. (Certamente ci sono pezzi di codice che un essere umano può guardare e dire "sì" o "no" sicuramente, ma stiamo parlando di quelli che in realtà sono piuttosto difficili da analizzare.)

Il problema di arresto significa che ci sono tipi di analisi del codice che nessun computer potrebbe fare, perché è matematicamente impossibile. Ma il regno delle possibilità è ancora abbastanza grande da consentire una forte intelligenza artificiale (nel senso di un codice che può capirsi abbastanza bene da migliorarsi).

Il problema dell'arresto è un esempio di un fenomeno generale noto come Indecidibilità , che dimostra che non ci sono problemi che nessuna macchina di Turing può risolvere a tempo finito. Consideriamo la generalizzazione secondo cui è indecifrabile che una Macchina di Turing soddisfi qualche proprietà non banale P, chiamata teorema di Rice .

Prima nota che il problema di arresto si applica solo se la macchina di Turing accetta input arbitrariamente lunghi. Se l'input è limitato, è possibile elencare tutti i casi possibili e il problema non è più indecidibile. Potrebbe essere ancora inefficiente calcolarlo, ma poi ci stiamo rivolgendo alla teoria della complessità, che dovrebbe essere una domanda separata.

Il teorema di Rice implica che un'intelligenza (un essere umano) non può essere in grado di determinare se un'altra intelligenza (come un AGI) possiede una certa proprietà, come essere amichevole . Ciò non significa che non possiamo progettare un'AGI amichevole, ma significa che non possiamo verificare se un'AGI arbitraria è amichevole. Pertanto, mentre possiamo eventualmente creare un'intelligenza artificiale che è garantita per essere amichevole, dobbiamo anche garantire che l'IT non possa creare un'altra intelligenza artificiale che sia ostile.