Risponderò a questa domanda in più parti:
Perché i sistemi AGI devono avere buon senso?
Gli umani nella ragione selvaggia e comunicano usando il buonsenso più di quanto non facciano con una logica rigorosa, lo si può notare notando che è più facile attrarre l'emozione di qualcuno che la logica. Quindi qualsiasi sistema che cerca di replicare la cognizione umana (come in AGI) dovrebbe replicare anche questa tendenza ad usare il buon senso.
Più semplicemente, vorremmo che il nostro sistema AGI potesse parlarci in un linguaggio di buon senso semplicemente perché è quello che capiamo meglio (altrimenti non capiremmo il nostro AGI amichevole, vero?). La teoria ottusa e la logica rigorosa potrebbero essere tecnicamente corrette, ma non fanno appello alla nostra comprensione.
L'obiettivo di AGI non è forse quello di creare il sistema più avanzato cognitivamente? Perché il sistema AGI "più perfetto" dovrebbe avere a che fare con tali imperfezioni e imprecisioni presenti nel senso comune?
Innanzitutto, potrebbe sembrare che la logica del senso comune sia "irrazionale". Forse esiste un modo matematico coerente per modellare il senso comune in modo tale che tutte le sottigliezze del senso comune siano rappresentate in modo rigoroso.
In secondo luogo, lo studio iniziale dell'intelligenza artificiale è iniziato nello studio della scienza cognitiva, in cui i ricercatori hanno cercato di replicare "algoritmi della mente", o più precisamente: procedure decidibili che replicavano il pensiero umano. Quindi, fino a quel punto, lo studio dell'IA non è quello di creare "il più supremo agente cognitivo", ma semplicemente di replicare il pensiero / comportamento umano. Una volta che possiamo replicare il comportamento umano, possiamo forse provare a creare qualcosa di superumano dandogli più potere computazionale, ma ciò non è garantito.
Non vedo ancora perché sia necessario il buonsenso nei sistemi AGI. AGI non è forse il sistema di calcolo più intelligente e potente? Perché dovrebbe interessarsi o conformarsi ai limiti della comprensione umana, che richiede buon senso?
Forse allora hai una comprensione un po 'disallineata di ciò che comporta AGI. AGI non significa potere computazionale illimitato (fisicamente impossibile a causa di vincoli fisici sul calcolo come il limite di Bremermann ) o intelligenza illimitata (forse fisicamente impossibile a causa del vincolo precedente). Di solito significa semplicemente "intelligenza generale" artificiale, significato generale ampio e comune.
Le considerazioni sugli agenti senza limiti sono studiate in modo più dettagliato in campi come l'informatica teorica (teoria del tipo credo), la teoria delle decisioni e forse anche la teoria degli insiemi, in cui siamo in grado di porre domande sugli agenti con potere computazionale illimitato. Potremmo dire che ci sono domande a cui persino un sistema AGI con potenza illimitata non può rispondere a causa del problema Halting , ma solo se le ipotesi su quei campi si associano alla struttura della data AGI, il che potrebbe non essere vero.
Per una migliore comprensione di ciò che AGI potrebbe comportare e dei suoi obiettivi, potrei raccomandare due libri: Intelligenza Artificiale: L'Idea di John Haugeland per un approccio più pragmatico (tanto pragmatico quanto la filosofia AI può essere, e Sull'origine degli oggetti di Brian Cantwell Smith per un approccio più filosoficamente propenso.
A parte il divertimento, la collezione di Zen koan: The Gateless Gate, include il seguente passaggio: (citato e modificato da Wikipedia )
Un monaco chiese a Zhaozhou, un maestro cinese Zen, "Ha un cane di natura buddha o no?" Zhaozhou rispose: "Wú"
Wú (無) si traduce in "none", "nonesuch" o "nothing", che può essere interpretato in modo da evitare di rispondere sia sì che no. Questo individuo illuminato non cerca di rispondere rigorosamente a tutte le domande, ma solo di rispondere in modo sensato. Non importa in che modo il cane abbia o meno la natura di Buddha (qualunque cosa la natura di Buddha significhi), quindi il padrone per impostazione predefinita assolve la domanda piuttosto che risolverla.