Significato statistico delle modifiche nel tempo su un oggetto Likert a 5 punti

Contesto:

Ho due set di dati dello stesso questionario che durano due anni. Ogni domanda viene misurata usando una scala 5-Likert.

Q1: schema di codifica

Al momento, ho codificato le mie risposte su un intervallo [0, 1], con 0 che significa "risposta più negativa", 1 che significa "risposta più positiva" e altre risposte distanziate equamente tra.

Qual è lo schema di codifica "migliore" da utilizzare per la scala Likert?

Mi rendo conto che questo potrebbe essere un po 'soggettivo.

Q2: significato negli anni

Qual è il modo migliore per determinare se ci sono cambiamenti statisticamente significativi nei due anni?

Cioè, guardando i risultati della domanda 1 per ogni anno, come faccio a sapere se la differenza tra il risultato del 2011 e il risultato del 2010 è statisticamente significativa? Ho un vago ricordo del test t di Student qui in uso, ma non ne sono sicuro.

statistical-significance likert

— Mac
fonte

Risposte:

1. Schema di codifica

In termini di valutazione della significatività statistica utilizzando un test t, sono le distanze relative tra i punti di scala che contano. Pertanto, (0, 0,25, 0,5, 0,75, 1) è equivalente a (1, 2, 3, 4, 5). Dalla mia esperienza uno schema di codifica a distanza uguale, come quelli menzionati in precedenza, è il più comune e sembra ragionevole per gli articoli Likert. Se esplori il ridimensionamento ottimale, potresti essere in grado di derivare uno schema di codifica alternativo.

2. Test statistico

La domanda su come valutare le differenze di gruppo su un articolo Likert ha già ricevuto risposta qui .

Il primo problema è se è possibile collegare le osservazioni tra i due punti temporali. Sembra che tu abbia avuto un campione diverso. Questo porta ad alcune opzioni:

T-test di gruppi indipendenti : questa è un'opzione semplice; verifica anche le differenze nelle medie di gruppo; i puristi sosterranno che il valore p potrebbe non essere del tutto esatto; tuttavia, a seconda dei tuoi scopi, potrebbe essere adeguato.
Test bootstrap delle differenze nel gruppo significa : Se vuoi ancora testare le differenze tra il gruppo significa ma non sei a tuo agio con la natura discreta della variabile dipendente, allora potresti usare un bootstrap per generare intervalli di confidenza da cui puoi trarre conclusioni sulle modifiche nei mezzi di gruppo .
Test U di Mann-Whitney (tra gli altri test non parametrici): tale test non assume la normalità, ma sta anche testando un'ipotesi diversa.

— Jeromy Anglim
fonte

quindi, in poche parole, non vedi nulla di sbagliato in ciò che ho proposto (codifica della distanza uguale, test di significatività del test t), oltre a ci sono altre opzioni che potrebbero essere più accurate?

— Mac,

@Mac Secondo me, proveniente maggiormente da una prospettiva applicata, è un approccio semplice, facile da capire, facile da comunicare e generalmente ragionevole. Tuttavia, spesso vale la pena considerare la valutazione di costrutti di interesse utilizzando scale anziché singoli elementi.

— Jeromy Anglim,

concordato. Tuttavia, credo per quello che mi servirà. Grazie molto!

— Mac,

solo per notare che il test t può essere abbastanza sensibile alle differenze di varianza, quindi probabilmente sarebbe qualcosa da controllare prima di prendere la tua decisione finale

— richiemorrisroe,

@Mac / cc @richiemorrisroe A mio avviso, a parte il presupposto dell'omoscedasticità (che è in qualche modo aggirato con il test t di Welch), il problema è principalmente con distribuzioni di risposta asimmetriche (effetto soffitto o pavimento), che spesso sorgono quando si usano oggetti Likert.

— chl

Wilcoxon Ranksum Test, alias Mann-Whitney, è la strada da percorrere nel caso di dati ordinali. La soluzione di bootstrap è anche elegante, sebbene non sia la "classica" strada da percorrere. Il metodo Bootstrapping potrebbe anche essere utile nel caso in cui miri ad altre cose come l'analisi dei fattori. In caso di analisi di regressione, è possibile scegliere probit ordinato o logit ordinato come specifica del modello.

A proposito: se la bilancia ha un intervallo più ampio (> 10 valori per variabile), è possibile utilizzare i risultati come variabile metrica, il che rende un test t una scelta sicura. Sia consigliato che questo è un po 'sporco e può essere considerato da alcuni il lavoro del diavolo.

Stephan

Potresti espandere in che modo bootstrap fornirebbe un approccio più interessante per l'analisi dei fattori?

— chl,

Sarei interessato a saperne di più sul perché il test di Mann-Whitney sarebbe preferito su un test t qui.

— whuber