Sto sviluppando empiricamente un questionario e userò numeri arbitrari in questo esempio per illustrare. Per il contesto, sto sviluppando un questionario psicologico volto a valutare i modelli di pensiero comunemente identificati nelle persone che hanno disturbi d'ansia. Un articolo potrebbe apparire come "Devo controllare ripetutamente il forno perché non posso essere sicuro che sia spento ".
Ho 20 domande (Likert a 5 punti) che possono comprendere uno o due fattori (nota che in realtà ho più di 200 domande, composte da 10 scale, e ciascuna scala può essere composta da due fattori). Sono disposto a cancellare circa la metà degli elementi, lasciando 10 domande su uno di due fattori.
Ho familiarità con l'analisi fattoriale esplorativa (EFA), la coerenza interna (alfa di Cronbach) e le curve caratteristiche dell'oggetto nella teoria della risposta dell'oggetto (IRT). Vedo come utilizzerei uno di questi metodi per determinare quali elementi sono "peggiori" all'interno di una singola scala. Apprezzo che ogni metodo risponda anche a domande diverse, sebbene possano portare a risultati simili e non sono sicuro di quale "domanda" sia più importante.
Prima di iniziare, assicuriamoci di sapere cosa sto facendo con ciascuno di questi metodi individualmente.
Usando EFA, identificherei il numero di fattori e rimuoverei gli elementi che caricano di meno (diciamo <.30) sul rispettivo fattore o che caricano sostanzialmente tra i fattori.
Usando la coerenza interna, rimuoverei gli elementi che hanno il peggiore "alfa se l'elemento eliminato". Potrei farlo assumendo un fattore nella mia scala o farlo dopo un EFA iniziale per identificare il numero di fattori e successivamente eseguire la mia alfa per ciascun fattore.
Usando IRT, rimuoverei gli elementi che non valutano il fattore di interesse lungo le loro opzioni di risposta (5 Likert). Starei curvando le curve caratteristiche dell'oggetto. Fondamentalmente sarei alla ricerca di una linea su un angolo di 45 gradi che va dall'opzione 1 sulla scala Likert fino a 5 lungo il punteggio latente. Potrei farlo supponendo un fattore o farlo dopo un
EFA iniziale per identificare il numero di fattori e successivamente eseguire le curve per ciascun fattore.
Non sono sicuro di quale di questi metodi utilizzare per identificare meglio quali elementi sono i "peggiori". Uso il peggio in senso lato in modo tale che l'articolo sarebbe dannoso per la misura, in termini di affidabilità o validità, che sono entrambi ugualmente importanti per me. Presumibilmente posso usarli insieme, ma non sono sicuro di come.
Se dovessi andare avanti con quello che so adesso e fare del mio meglio, farei quanto segue:
- Effettuare un EFA per identificare il numero di fattori. Elimina anche gli articoli con caricamenti errati sui rispettivi fattori, poiché non voglio elementi che si caricano male indipendentemente da come farebbero in altre analisi.
- Esegui l'IRT e rimuovi anche gli elementi non validi giudicati da tale analisi, se ne rimangono alcuni dall'EFA.
- Segnala semplicemente l'Alfa di Cronbach e non utilizzare quella metrica come mezzo per eliminare gli oggetti.
Qualsiasi linea guida generale sarebbe molto apprezzata!
Ecco anche un elenco di domande specifiche alle quali potresti forse rispondere:
Qual è la differenza pratica tra la rimozione di articoli in base al caricamento dei fattori e la rimozione di articoli in base all'alfa di Chronbach (supponendo che tu utilizzi lo stesso layout di fattore per entrambe le analisi)?
Cosa dovrei fare per primo? Supponendo che eseguo EFA e IRT con un fattore ed entrambi identifichi elementi diversi che dovrebbero essere rimossi, quale analisi dovrebbe avere la priorità?
Non sono difficile fare tutte queste analisi, anche se riferirò l'alfa di Chronbach a prescindere. Sento che fare solo IRT lascerebbe qualcosa che manca, e allo stesso modo solo per EFA.