Come si rappresentano graficamente i risultati dell'ordine gerarchico soggettivo?


17

Sto cercando un modo per visualizzare classifiche soggettive, separate dai miei test non parametrici.

Ho chiesto a 12 partecipanti di classificare 8 voci diverse in base a diversi criteri soggettivi (classifiche separate per ciascuna). Per ogni singolo set di classifiche, sto cercando un buon modo per visualizzare le tendenze di alto livello delle classifiche.

Ho provato entrambi i grafici a barre e radar nelle classifiche medie e ho visto un'altra persona utilizzare un grafico a dispersione / palloncino sul numero di risposte per classifica, ma non sono del tutto sicuro di ciò che trasmette la migliore panoramica. O posso usare le 8 classifiche medie, o gli 8 conteggi di ogni classifica per articolo.

Modificare:

Ad esempio: ogni colonna è un elemento, ogni riga è la classifica di una persona di ciascuno degli otto elementi. Non un accordo particolarmente forte in questo esempio, ma in generale vorrebbe capire il modo migliore per comunicare le tendenze generali.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4

Potrebbe essere utile elencare alcuni dei tuoi dati. Inoltre, quale software è probabile che tu usi?
gung - Ripristina Monica

Ho aggiunto una matrice di esempio e probabilmente traccerò in Excel.
Jesse,

Stai cercando di visualizzare i ranghi degli articoli o l'accordo inter-rater (o entrambi)?
whuber

1
Stavo chiedendo in particolare le classifiche degli oggetti, ma se c'è un buon modo per mostrare un accordo inter-rater diverso da qualcosa di diverso dalla W di Kendall, tanto meglio.
Jesse,

Potresti tracciare il CDF empirico di ogni colonna. Sembrerebbe qualcosa di simile a una (intera confusione di) curve ROC. Non sono sicuro di cosa sarebbe saltato fuori se lo facessi, comunque.
shabbychef,

Risposte:


8

Ho fatto qualcosa di simile per visualizzare classifiche simili. Il metodo che ho usato mi ha dato una rapida panoramica di come le classifiche non fossero più correlate. La mia soluzione ha usato le sparkline di Excel 2010 per creare una vista di piccoli multipli delle classifiche (questo può essere fatto in altre versioni di Excel, ma richiede un po 'più di lavoro). Inoltre, generalmente utilizzo la funzionalità Tabella di Excel solo per velocizzare le cose.

  1. Trasponi la tua matrice in modo che le righe contengano tutti i valori per elemento valutato.
  2. Se il grado 1 è il migliore, inverti i tuoi ranghi in modo che 1 = 8,2 = 7 ... questo ti aiuti a visualizzare meglio le colonne del grafico (anziché lo spazio).
  3. Somma i risultati dei valutatori di ogni domanda. Quindi ordina per questo totale. Questo metterà l'oggetto con i migliori punteggi complessivi per primi e i peggiori punteggi complessivi per ultimi. Questa classifica ti aiuterà a classificare visivamente i grafici quando il modello generale potrebbe non essere ovvio (come nel caso dei tuoi dati di esempio.
  4. Inserisci Sparkline utilizzando i tuoi dati di classifica (senza la colonna dei totali) accanto alla tabella dei dati. Visivamente, più sono le barre più / più grandi, migliore è la classifica generale.

Non c'è nulla di particolarmente analitico in questo approccio, ma è un modo abbastanza veloce per visualizzare i dati.

Classifiche soggettive

Nota, se non si dispone di Excel 2010, è possibile creare diagrammi di colonna a dimensioni ridotte e cella per ogni riga che abbiano lo stesso aspetto. In alternativa, è possibile utilizzare un componente aggiuntivo di terze parti per crearli.

EDIT: tabella e grafico che utilizzano il suggerimento di Gung per una misura media. Come sottolineato, poiché la scala è simile, è stata aggiunta al grafico come ulteriore punto di confronto (ho usato il grigio per aiutare a differenziarlo dai grafici di dati grezzi).

inserisci qui la descrizione dell'immagine


3
+1, questa è una soluzione davvero bella e semplice per questa situazione. Un piccolo suggerimento che vorrei fare è utilizzare le medie anziché le somme nel passaggio 3. Questo non cambierà nulla, ma rimetterà il totale nella scala originale, il che può facilitare l'interpretazione del valore.
gung - Ripristina Monica

@gung, grazie per il feedback. Penso che usare le medie funzioni davvero bene (come sopra). Non mi è mai piaciuto usare i totali, ma non avevo pensato troppo a una buona alternativa.
dav

2

Lo farei sotto forma di un diagramma di dossi. Sembra piuttosto disordinato, quindi vorrei lavorare con i colori per cercare di dare una mano.

Le sparkline suggerite da @dav non consentono davvero un confronto tra i prodotti.

inserisci qui la descrizione dell'immagine


Penso che questo grafico sarebbe eccellente se le dimensioni dei punti fossero ridimensionate in ordine inverso da 8 (il più piccolo) a 1 (il più grande). Penso che le tendenze potrebbero saltare più in quel modo.
Brandon Bertelsen il


1

So che questa domanda ha sette anni e vedo che il poster è AWOL, ma apprezzo una domanda che include dati ...

Sembra che le tendenze di valutazione del prodotto siano il problema piuttosto che le tendenze dei singoli valutatori. In tal caso, puoi avere un'idea delle tendenze di alto livello tracciando i mezzi e l'intervallo di confidenza per ciascun prodotto.

inserisci qui la descrizione dell'immagine

Almeno possiamo vedere che C e D sembrano peggiori degli altri (supponendo che 8 sia il peggior ranking). Forse A, B e C hanno più disaccordo rispetto agli altri.

Se i singoli rater sono importanti nel trasporto, è possibile utilizzare segni e colori diversi per i punti di ciascun rater.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.