Come ridurre il numero di articoli usando l'analisi dei fattori, la coerenza interna e la teoria della risposta degli oggetti insieme?

Sto sviluppando empiricamente un questionario e userò numeri arbitrari in questo esempio per illustrare. Per il contesto, sto sviluppando un questionario psicologico volto a valutare i modelli di pensiero comunemente identificati nelle persone che hanno disturbi d'ansia. Un articolo potrebbe apparire come "Devo controllare ripetutamente il forno perché non posso essere sicuro che sia spento ".

Ho 20 domande (Likert a 5 punti) che possono comprendere uno o due fattori (nota che in realtà ho più di 200 domande, composte da 10 scale, e ciascuna scala può essere composta da due fattori). Sono disposto a cancellare circa la metà degli elementi, lasciando 10 domande su uno di due fattori.

Ho familiarità con l'analisi fattoriale esplorativa (EFA), la coerenza interna (alfa di Cronbach) e le curve caratteristiche dell'oggetto nella teoria della risposta dell'oggetto (IRT). Vedo come utilizzerei uno di questi metodi per determinare quali elementi sono "peggiori" all'interno di una singola scala. Apprezzo che ogni metodo risponda anche a domande diverse, sebbene possano portare a risultati simili e non sono sicuro di quale "domanda" sia più importante.

Prima di iniziare, assicuriamoci di sapere cosa sto facendo con ciascuno di questi metodi individualmente.

• Usando EFA, identificherei il numero di fattori e rimuoverei gli elementi che caricano di meno (diciamo <.30) sul rispettivo fattore o che caricano sostanzialmente tra i fattori.

• Usando la coerenza interna, rimuoverei gli elementi che hanno il peggiore "alfa se l'elemento eliminato". Potrei farlo assumendo un fattore nella mia scala o farlo dopo un EFA iniziale per identificare il numero di fattori e successivamente eseguire la mia alfa per ciascun fattore.

• Usando IRT, rimuoverei gli elementi che non valutano il fattore di interesse lungo le loro opzioni di risposta (5 Likert). Starei curvando le curve caratteristiche dell'oggetto. Fondamentalmente sarei alla ricerca di una linea su un angolo di 45 gradi che va dall'opzione 1 sulla scala Likert fino a 5 lungo il punteggio latente. Potrei farlo supponendo un fattore o farlo dopo un
  EFA iniziale per identificare il numero di fattori e successivamente eseguire le curve per ciascun fattore.

Non sono sicuro di quale di questi metodi utilizzare per identificare meglio quali elementi sono i "peggiori". Uso il peggio in senso lato in modo tale che l'articolo sarebbe dannoso per la misura, in termini di affidabilità o validità, che sono entrambi ugualmente importanti per me. Presumibilmente posso usarli insieme, ma non sono sicuro di come.

Se dovessi andare avanti con quello che so adesso e fare del mio meglio, farei quanto segue:

1. Effettuare un EFA per identificare il numero di fattori. Elimina anche gli articoli con caricamenti errati sui rispettivi fattori, poiché non voglio elementi che si caricano male indipendentemente da come farebbero in altre analisi.
2. Esegui l'IRT e rimuovi anche gli elementi non validi giudicati da tale analisi, se ne rimangono alcuni dall'EFA.
3. Segnala semplicemente l'Alfa di Cronbach e non utilizzare quella metrica come mezzo per eliminare gli oggetti.

Qualsiasi linea guida generale sarebbe molto apprezzata!

Ecco anche un elenco di domande specifiche alle quali potresti forse rispondere:

1. Qual è la differenza pratica tra la rimozione di articoli in base al caricamento dei fattori e la rimozione di articoli in base all'alfa di Chronbach (supponendo che tu utilizzi lo stesso layout di fattore per entrambe le analisi)?

2. Cosa dovrei fare per primo? Supponendo che eseguo EFA e IRT con un fattore ed entrambi identifichi elementi diversi che dovrebbero essere rimossi, quale analisi dovrebbe avere la priorità?

Non sono difficile fare tutte queste analisi, anche se riferirò l'alfa di Chronbach a prescindere. Sento che fare solo IRT lascerebbe qualcosa che manca, e allo stesso modo solo per EFA.

Non ho citazioni, ma ecco cosa suggerirei:

Zeroth: se possibile, suddividere i dati in un set di allenamento e test.

Prima fai EFA. Guarda le varie soluzioni per vedere quali hanno senso, in base alla tua conoscenza delle domande. Dovresti farlo prima dell'alfa di Cronbach, o non saprai quali elementi vanno in quale fattore. (Eseguire alpha su TUTTI gli articoli non è probabilmente una buona idea).

Quindi, esegui alpha ed elimina gli elementi che hanno correlazioni molto più scarse rispetto agli altri in ciascun fattore. Non fisserei un limite arbitrario, ne cercherei uno molto più basso degli altri. Vedi se l'eliminazione di questi ha senso.

Infine, scegli gli oggetti con una varietà di livelli di "difficoltà" da IRT.

Quindi, se possibile, ripetere questa operazione sul set di test, ma senza fare alcuna esplorazione. Ossia, vedi quanto bene il risultato trovato sul set di allenamento funziona sul set di test.

Tutti e tre i criteri suggeriti potrebbero effettivamente essere eseguiti in IRT, in particolare IRT multidimensionale. Se la dimensione del campione è abbastanza grande, sarebbe probabilmente un modo coerente di procedere per ogni sottoscala. In questo modo è possibile ottenere i vantaggi di IRT per la modellazione di articoli in modo indipendente (utilizzando modelli nominali per alcuni articoli, credito parziale generalizzato o classificati per altri, o se possibile anche impostare scale di valutazione per aiutare a interpretare gli articoli politomici in modo più parsimonioso).

$\theta$

$\theta$

Potresti tentare di rimuovere elementi non conformi ai requisiti unidimensionali della maggior parte dei software IRT, ma non lo consiglierei necessariamente se influisce sulla rappresentazione teorica dei costrutti a portata di mano. Nelle applicazioni empiriche di solito è meglio cercare di adattare i nostri modelli alla nostra teoria, non viceversa. Inoltre, è qui che i modelli bifattore / a due livelli tendono ad essere appropriati poiché si desidera includere tutti gli elementi possibili tenendo conto della multidimensionalità in modo sistematico e teoricamente desiderabile.