Valutare l'affidabilità di un questionario: dimensionalità, elementi problematici e se utilizzare alpha, lambda6 o qualche altro indice?

Sto analizzando i punteggi forniti dai partecipanti a un esperimento. Voglio stimare l'affidabilità del mio questionario che è composto da 6 articoli volti a stimare l'atteggiamento dei partecipanti verso un prodotto.

Ho calcolato l'alfa di Cronbach trattando tutti gli oggetti come una singola scala (l'alfa era di circa 0,6) ed eliminando un oggetto alla volta (l'alfa massima era di circa 0,72). So che l'alfa può essere sottovalutata e sopravvalutata a seconda del numero di elementi e della dimensionalità del costrutto sottostante. Quindi ho anche eseguito un PCA. Questa analisi ha rivelato che c'erano tre componenti principali che spiegavano circa l'80% della varianza. Quindi, le mie domande sono tutte su come posso procedere ora?

• Devo eseguire il calcolo alfa su ciascuna di queste dimensioni?
• Devo rimuovere gli articoli che incidono sull'affidabilità?

Inoltre, cercando sul web ho scoperto che esiste un'altra misura di affidabilità: la lambda6 di guttman.

• Quali sono le principali differenze tra questa misura e l'alfa?
• Qual è un buon valore di lambda?

Penso che @ Jeromy abbia già detto l'essenziale, quindi mi concentrerò sulle misure di affidabilità.

L'alfa di Cronbach è un indice dipendente dal campione utilizzato per accertare un limite inferiore dell'affidabilità di uno strumento. Non è altro che un indicatore di varianza condiviso da tutti gli elementi considerati nel calcolo di un punteggio di scala. Pertanto, non deve essere confuso con una misura assoluta di affidabilità, né si applica a uno strumento multidimensionale nel suo insieme. In effetti, vengono fatte le seguenti ipotesi: (a) nessuna correlazione residua, (b) gli articoli hanno carichi identici e (c) la scala è unidimensionale. Ciò significa che l'unico caso in cui l'alfa sarà essenzialmente uguale all'affidabilitàè il caso di caricamenti di fattore uniformemente elevati, assenza di covarianze di errore e strumento unidimensionale (1). Poiché la sua precisione dipende dall'errore standard delle intercorrelazioni degli articoli, dipende dalla diffusione delle correlazioni degli articoli, il che significa che l'alfa rifletterà questo intervallo di correlazioni indipendentemente dalla fonte o dalle fonti di questo particolare intervallo (ad esempio, errore di misurazione o multidimensionalità). Questo punto è ampiamente discusso in (2). Vale la pena notare che quando l'alfa è 0,70, una soglia di affidabilità ampiamente riferita ai fini del confronto di gruppo (3,4), l'errore standard di misurazione sarà superiore alla metà (0,55) di una deviazione standard. Inoltre, Cronbach alfa è una misura della coerenza interna, non è una misura di unidimensionalità e non può essere utilizzato per inferire l'unidimensionalità (5). Infine, possiamo citare lo stesso LJ Cronbach,

I coefficienti sono un dispositivo grezzo che non porta in superficie molte sottigliezze implicite dai componenti della varianza. In particolare, le interpretazioni che vengono fatte nelle valutazioni correnti sono meglio valutate attraverso l'uso di un errore standard di misurazione. --- Cronbach & Shavelson, (6)

Ci sono molte altre insidie ​​che sono state ampiamente discusse in diversi articoli negli ultimi 10 anni (ad esempio, 7-10).

$\lambda_3$$\lambda_6$$\omega_t$$\omega_h$$\beta$

Riferimenti

1. Raykov, T. (1997). Affidabilità della scala, coefficiente alfa di Cronbach e violazioni dell'equivalenza tau essenziale per componenti congenerici fissi. Ricerca comportamentale multivariata , 32, 329-354.
2. Cortina, JM (1993). Cos'è l'alfa coefficiente? Un esame di teoria e applicazioni . Journal of Applied Psychology , 78 (1), 98-104.
3. Nunnally, JC e Bernstein, IH (1994). Teoria psicometrica . Serie McGraw-Hill in Psicologia, terza edizione.
4. De Vaus, D. (2002). Analisi dei dati di scienze sociali . Londra: Sage Publications.
5. Danes, JE e Mann, OK. (1984). Misurazioni unidimensionali e modelli di equazioni strutturali con variabili latenti. Journal of Business Research , 12, 337-352.
6. Cronbach, LJ e Shavelson, RJ (2004). I miei pensieri attuali su coefficiente alfa e successorprocedures . Misura educativa e psicologica , 64 (3), 391-418.
7. Schmitt, N. (1996). Usi e abusi di Alpha Coefficiente . Valutazione psicologica , 8 (4), 350-353.
8. Iacobucci, D. e Duhachek, A. (2003). Advancing Alpha: misurare l'affidabilità con fiducia . Journal of Consumer Psychology , 13 (4), 478-487.
9. Shevlin, M., Miles, JNV, Davies, MNO e Walker, S. (2000). Alfa coefficiente: un utile indicatore di affidabilità? Personalità e differenze individuali , 28, 229-237.
10. Fong, DYT, Ho, SY e Lam, TH (2010). Valutazione dell'affidabilità interna in presenza di risposte incoerenti . Risultati sulla salute e sulla qualità della vita , 8, 27.
11. Guttman, L. (1945). Una base per l'analisi dell'affidabilità test-retest. Psychometrika , 10 (4), 255-282.
12. $\alpha$$\beta$$\omega_h$
13. Revelle, W. e Zinbarg, RE (2009) Coefficienti alfa, beta, omega e glb: commenti su Sijtsma . Psychometrika , 74 (1), 145-154

Ecco alcuni commenti generali:

• PCA : L'analisi PCA non "rivela che ci sono tre componenti principali". Hai scelto di estrarre tre dimensioni o hai fatto affidamento su una regola empirica predefinita (in genere autovalori su 1) per decidere quante dimensioni estrarre. Inoltre, gli autovalori su uno spesso estraggono più dimensioni di quanto sia utile.
• Valutazione della dimensionalità degli articoli: sono d'accordo che è possibile utilizzare PCA per valutare la dimensionalità degli articoli. Tuttavia, trovo che guardare la trama del ghiaione possa fornire una guida migliore per il numero di dimensioni. Potresti dare un'occhiata a questa pagina di William Revelle sulla valutazione della dimensionalità della scala .
• Come procedere?
  • Se la scala è ben definita , allora potresti voler lasciarla così com'è (supponendo che le sue proprietà siano almeno ragionevoli; anche se nel tuo caso 0.6 è relativamente scarso per la maggior parte degli standard).
  • Se la scala non è ben stabilita , dovresti considerare teoricamente ciò che gli articoli devono misurare e per quale scopo vuoi usare la scala risultante. Dato che hai solo sei articoli, non hai molto spazio per creare più scale senza passare a preoccupanti numeri di articoli per scala. Allo stesso tempo, è una buona idea controllare se ci sono elementi problematici in base al pavimento, al soffitto o a problemi di bassa affidabilità. Inoltre, potresti voler verificare se tutti gli articoli devono essere invertiti.
  • Ho messo insieme alcuni collegamenti a risorse generali sullo sviluppo su scala che potresti trovare utili

Di seguito vengono affrontate le vostre domande specifiche:

• Devo eseguire il calcolo alfa su ciascuna di queste dimensioni?
  • Come puoi ricavare dalla discussione di cui sopra, non credo che dovresti trattare i tuoi dati come se avessi tre dimensioni. Ci sono una serie di argomenti che potresti fare in base ai tuoi scopi e ai dettagli, quindi è difficile dire esattamente cosa fare. Nella maggior parte dei casi, cercherei di creare almeno una buona scala (forse eliminando un oggetto) anziché tre scale non affidabili.
• Devo rimuovere gli articoli che incidono sull'affidabilità?
  • Tocca a voi. Se la scala è stabilita, è possibile scegliere di non farlo. Se la dimensione del campione è piccola, potrebbe essere un'anomalia del campionamento casuale. Tuttavia, in generale sarei propenso a cancellare un oggetto se stesse davvero facendo scendere l'alfa da 0,72 a 0,60. Verificherei anche se questo oggetto problematico non è effettivamente destinato a essere invertito.

Lascerò la discussione su lambda 6 ( discussa da William Revelle qui ) ad altri.