Confronto tra SHAP (Shapley Additive Explanation) e LIME (Local Interpretable Model-Agnostic Explanations)

Sto leggendo su due popolari tecniche di interpretabilità del modello post hoc: LIME e SHAP

Ho difficoltà a comprendere la differenza chiave in queste due tecniche.

Per citare Scott Lundberg , il cervello dietro SHAP:

I valori SHAP derivano dai vantaggi della stima locale della scatola nera di LIME, ma anche da garanzie teoriche sulla coerenza e l'accuratezza locale della teoria dei giochi (attributi di altri metodi che abbiamo unificato)

Ho qualche problema a capire quali siano queste " garanzie teoriche sulla coerenza e l'accuratezza locale dalla teoria dei giochi ". Poiché SHAP è stato sviluppato dopo LIME, suppongo che si riempia di alcune lacune che LIME non riesce a colmare. Cosa sono quelli?

Il libro di Christoph Molnar in un capitolo su Shapley Estimation afferma:

La differenza tra la previsione e la previsione media è equamente distribuita tra i valori delle caratteristiche dell'istanza: la proprietà di efficienza shapley. Questa proprietà imposta il valore di Shapley oltre ad altri metodi come LIME. LIME non garantisce la distribuzione perfetta degli effetti. Potrebbe rendere il valore di Shapley l'unico metodo per fornire una spiegazione completa

Leggendo questo, ho la sensazione che SHAP non sia una spiegazione locale ma globale del punto dati. Potrei sbagliarmi qui e avere bisogno di qualche idea su cosa significhi questa citazione sopra. Per riassumere la mia domanda: LIME produce spiegazioni locali. In che modo le spiegazioni di SHAP sono diverse da quelle di LIME?

model-interpretation shapley-value lime

— user248884
fonte

Bella domanda (+1), proverò a rispondere quando avrò tempo, ma la cosa ovvia da notare è che LIME non offre una spiegazione coerente a livello globale mentre SHAP lo fa. Inoltre, SHAP è stato sicuramente sviluppato prima di LIME. SHAP si basa fortemente sul lavoro di Strumbelj & Kononenko a partire dagli anni '00 / primi anni '10, nonché sui lavori di economia sui giochi cooperativi trasferibili di utilità (ad esempio Lipovetsky e Conklin (2001)). Inoltre, molto lavoro sulle misurazioni dell'analisi di sensibilità (ad es. Indici Sobol) procede anche in questo modo. Le idee Core SHAP erano generalmente ben note prima del NIPS 2017.

— Usεr11852 afferma Reinstate Monic

(Giusto per essere chiari riguardo alla seconda metà del mio commento sopra: non sto suggerendo che il documento NIPS 2017 sia il prodotto del plagio o qualcosa di remoto come questo. È solo che vedo spesso persone ignorare un sacco di lavori precedenti su un e trattare una recente sezione trasversale dell'evoluzione altrimenti organica di un campo della conoscenza come un importante progresso metodologico In questo caso particolare: la teoria dei giochi algoritmici è in circolazione da decenni come parte dell'IA, proprio ora è diventata semi- fredda . )

— Usεr11852 afferma Reinstate Monic il

@ usεr11852 In attesa di una tua risposta. Per favore, contribuisci con le tue idee su questo.

— user248884

Non ho ancora tutto il tempo necessario; Ho scritto circa 400 parole, ma ho bisogno di almeno altre 6-7 ore di lavoro in quanto devo rileggere alcuni fogli e stringere il mio testo - spiegare SHAP senza semplificare eccessivamente è un po 'impegnativo (almeno per me). Probabilmente ce la farò prima di metà dicembre ... :)

— usεr11852 dice Reinstate Monic il

@ usεr11852 Certo.

— Aspetterà

LIME crea un modello surrogato localmente attorno all'unità che prevede la previsione che desideri comprendere. Quindi è intrinsecamente locale. I valori formali 'decompongono' la previsione finale nel contributo di ciascun attributo - questo è ciò che alcuni significano per 'coerente' (i valori si sommano alla previsione effettiva del modello reale, questo non è qualcosa che ottieni con LIME). Ma per ottenere effettivamente i valori formali c'è una decisione che deve essere presa su cosa fare / come gestire i valori degli attributi 'esclusi', ecco come sono arrivati i valori. In questa decisione c'è qualche scelta che potrebbe cambiare l'interpretazione. Se 'tralascio' un attributo, faccio una media di tutte le possibilità? Scegli un po 'di base?

Quindi Shapely in realtà ti dice, in modo additivo, come hai ottenuto il tuo punteggio, ma c'è una scelta sul "punto di partenza" (cioè la decisione sugli attributi omessi).

LIME ti dice semplicemente, in senso locale, qual è l'attributo più importante intorno al punto di interesse dei dati.

— Geremia
fonte

Puoi anche aggiungere come ogni modello fa il loro punteggio (es. Punteggio shap) - Ho trovato questi punteggi abbastanza fastidiosi in quanto non si normalizzano e non capisco cosa significano!

— user4581