Come misurare l'affidabilità di una classifica di consenso (problema dal libro di Kemeny-Snell)

Supponiamo che esperti ogni chiesto di classificare un insieme di oggetti in ordine o preferenza. Consentire legami nelle classifiche.$k$$n$

John Kemeny e Laurie Snell nel loro libro del 1962 "Modelli matematici nelle scienze sociali" propongono di risolvere il prossimo problema:

PROGETTO . Sviluppa una misura dell'affidabilità di una classifica di consenso di esperti. Ad esempio, ciò può basarsi sul più grande cambiamento possibile che può essere determinato cambiando la classifica di un singolo esperto. (Si deve prestare attenzione alla possibilità di classifiche multiple di consenso.) Dimostrare alcuni teoremi riguardanti i consensi più e meno affidabili possibili per un dato .$1$$k$$k$

Il libro fornisce una notazione per le classifiche e il metodo per l'aggregazione delle classifiche (cioè ottenere una classifica "collettiva" da molti "individui"). Ma nessuna risposta data per il problema sopra.

Innanzitutto, ho pensato al coefficiente di concordanza di Kendall$W$ , ma sembra che non sia adatto. Tutte le idee sono benvenute!

Come misura dell'affidabilità di una classifica di consenso di esperti puoi usare esteso da Emond e Mason. Per spiegazioni esaurienti, consultare: http://onlinelibrary.wiley.com/doi/10.1002/mcda.313/full o http://www.sciencedirect.com/science/article/pii/S0377221715008048$k$$\tau$