Non è solo Hawking, senti variazioni su questo ritornello da molte persone. E dato che sono per lo più persone molto intelligenti, istruite e ben informate (Elon Musk è un altro, per esempio), probabilmente non dovrebbe essere scartato.
Ad ogni modo, l'idea di base sembra essere questa: se creiamo un'intelligenza artificiale "reale", ad un certo punto, sarà in grado di migliorarsi, il che migliora la sua capacità di migliorare se stesso, il che significa che può migliorare la sua capacità di migliorarsi anche di più, e così via ... una cascata in fuga che porta alla "intelligenza sovrumana". Vale a dire, portando a qualcosa di più intelligente di noi area.
Quindi cosa succede se esiste un'entità su questo pianeta che è letteralmente più intelligente di noi (umani)? Sarebbe una minaccia per noi? Bene, sembra certamente ragionevole ipotizzare che potrebbe essere così. OTOH, non abbiamo un motivo particolare, in questo momento, per pensare che sarà così.
Quindi sembra che Hawking, Musk, ecc. Stiano semplicemente scendendo dal lato più cauto / spaventoso delle cose. Dal momento che non sappiamo se un'intelligenza artificiale sovrumana sia pericolosa o meno e dato che potrebbe essere inarrestabile se dovesse diventare dannosa (ricordate, è più intelligente di noi!), È una cosa ragionevole da prendere in considerazione.
Anche Eliezer Yudkowsky ha scritto parecchio su questo argomento, incluso il famoso esperimento "AI Box". Penso che chiunque sia interessato a questo argomento dovrebbe leggere parte del suo materiale.
http://www.yudkowsky.net/singularity/aibox/