Gli esperti sono dannosi?

Sto leggendo "Il ruolo degli scacchi nella ricerca sull'intelligenza artificiale" ( pdf ) e, in modo interessante, dice:

L'esperienza [...] suggerisce che gli input degli esperti di scacchi, sebbene generalmente utili, non possono essere considerati completamente affidabili.

Un buon esempio di ciò è la funzione di valutazione di Deep Thought. Numerosi cambiamenti da parte di esperti esperti di scacchi umani non sono riusciti a produrre miglioramenti significativi e talvolta hanno persino influenzato negativamente le prestazioni della macchina.

Qui, esperti umani, insieme alla loro esperienza, hanno introdotto i loro pregiudizi nel programma. Un modo per risolvere questo problema è limitare il tipo e la quantità di input di esperti consentiti nel programma; in altri con una macchina quasi "senza conoscenza".

• Quanto è vero nella ricerca e nella pratica moderne?
• È un grosso problema, o solo qualcosa di specifico per il gioco degli scacchi?

Penso che si tratti più di Engineering Problem Solving. La maggior parte dei progetti di ingegneria di successo non duplica esattamente il ragionamento o la natura dell'esperto. Hanno risolto il problema in modo diverso.

Ad esempio le lavatrici usano una tecnica diversa rispetto agli umani, gli aeroplani usano dinamiche diverse rispetto agli uccelli.

Se stai duplicando il ragionamento degli esperti, il loro input è tutto . Ma se stai risolvendo lo stesso problema usando tecniche diverse (ricerca veloce, memoria enorme ...), il loro input è solo utile .

Tali problemi sono comuni in vari settori che richiedono giudizio.

Il capitolo " Previsioni giudiziarie e aggiustamenti " in Previsioni Makridakis, Wheelwright e Hyndman : metodi e applicazioni ha storie simili di giudizi di esperti sotto-performanti a volte anche sistemi molto semplici.

C'è un articolo (Dawes et al (1989) "Clinical vs Actuarial Judgment" Science , Vol 243, No 4899, p1668-74) sui fallimenti del giudizio degli esperti nell'area medica contro quelli che chiama metodi "attuariali" - sostanzialmente abbastanza semplice modelli statistici.

D'altra parte c'è una carta nella letteratura attuariale sulla 'rumorosità' e inconsistenza del giudizio esperto in un particolare problema che zona valutazioni di esperti è spesso considerata dai suoi praticanti di fondamentale importanza.

Makridakis e altri discutono dei fallimenti del giudizio degli esperti in molte aree, in quanto si riferiscono alle previsioni e contengono parecchi consigli preziosi.

E così via. I pregiudizi cognitivi abbondano e gli esperti umani ne soffrono insieme a tutti gli altri.

La questione se gli esperti siano o meno dannosi non è certamente un problema limitato al gioco degli scacchi.

Un'interessante domanda nella letteratura riguardante la progettazione ottimale dei Comitati di politica monetaria (MPC) è se i comitati debbano includere o meno esperti esterni che non sono impiegati a tempo pieno della banca centrale.

Per metterlo in prospettiva, considera innanzitutto il MPC della Bank of England. È composto da cinque membri esecutivi interni della banca e quattro esperti esterni. D'altra parte, la Federal Reserve Bank impiega un comitato composto esclusivamente da impiegati delle banche.

I membri di esperti esterni sono inclusi nell'MPC della Banca d'Inghilterra poiché si ritiene che apportino competenze e informazioni aggiuntive a quelle acquisite all'interno della Banca d'Inghilterra.

Quindi, quale design MPC è migliore? Esperti o esperti?

Bene, quest'area di ricerca è ancora attiva ed è stata recentemente indagata da Hansen & McMahon (2010) . Suggerisco di consultare i riferimenti citati in questo documento per ulteriori letture su questo tema di "comitati di esperti".

È un grosso (importante) problema? Tenendo conto degli effetti che la decisione di un MPC potrebbe avere sull'economia, direi che questo è un problema piuttosto importante!

Infine, dovrei menzionare che le decisioni di politica monetaria possono, in teoria, essere delegate a un computer. Ad esempio, il computer potrebbe essere programmato per implementare, per esempio, una semplice regola di politica monetaria ; per esempio, uno di impegno. Ciò eliminerebbe il contributo di esperti dopo che la regola di politica monetaria è stata programmata nel computer. L'uso del computer nella politica monetaria è menzionato in Svensson (1999) .

Riferimento : Stephen Eliot Hansen e Michael McMahon, 2010. "Che cosa portano gli esperti esterni in un comitato? Prove dalla Bank of England," Economics Working Papers 1238, Dipartimento di Economia e Commercio, Università Pompeu Fabra.

Lars EO Svensson, 1999. "Come dovrebbe essere condotta la politica monetaria in un'era di stabilità dei prezzi?", Atti della Federal Reserve Bank di Kansas City, pagine 195-259.

Penso che la chiave sia la coerenza. L'esperto non ha solo una conoscenza particolare, ma un sistema all'interno del quale tale conoscenza opera. Hanno una persona, una strategia generale, all'interno della quale risiedono e si evolvono le loro tattiche.

In un certo senso, un programma per computer che gioca a scacchi è un mostro di Frankenstein creato da un miscuglio di vari corpi (programmatori, esperti, ecc.). Quindi non sorprende che i consigli di un esperto non si adattino bene al sistema esistente.

Concordo con altri commenti sul fatto che gli esperti potrebbero non sapere come fanno ciò che fanno. Nel qual caso, essendo umani, la loro mente cosciente costituisce una storia plausibile sul perché hanno preso una decisione particolare. Ma continuo a pensare che la consulenza di esperti al team di programmazione sia sempre fuori contesto (ovvero incompatibile con il contesto di progettazione e storia del programma).

EDIT: potrebbe esserci anche un bias di rinforzo qui. Non riesco a trovare buoni collegamenti per spiegare il Bias di rinforzo, ma il modo in cui capisco il termine è l'effetto che si ottiene quando si aggiorna (refit) un modello supervisionato utilizzando i risultati precedenti del modello, di solito indirettamente, come obiettivi. È simile al bias di conferma, ma comporta un livello di riferimento indiretto. Gli esperti umani avrebbero i loro pregiudizi di rinforzo, che potrebbero influenzare le cose.