Identificazione di domande inutili da un questionario

12

Sto sviluppando un questionario. Per migliorare la sua affidabilità e validità, voglio usare metodi statistici.

Voglio eliminare le domande le cui risposte sono sempre le stesse. Ciò significa che quasi tutti i partecipanti hanno dato le stesse risposte a tali domande.

Ora le mie domande sono:

Qual è il termine tecnico per domande così inutili le cui risposte sono sempre le stesse, indipendentemente dal contesto d'uso?
Quali sono i metodi per identificare tali domande?

— Max
fonte

4

Non conosco un nome speciale per le domande in cui tutti danno la stessa risposta (forse qualcun altro lo fa). Probabilmente li definirei "non informativi". Probabilmente non causano molti danni oltre a perdere tempo agli intervistati. Dovresti assolutamente sbarazzartene, ma potrei concentrarmi più in generale sulla ricerca e la rimozione di domande che non correlano con le variabili latenti che vuoi valutare.

— gung - Ripristina Monica

7

Una regola empirica è che se l'80% degli intervistati fornisce la stessa risposta, la domanda non è informativa. MA - a volte lo vuoi sapere. "Sei un assassino" non è una domanda informativa secondo questa regola, ma vorresti davvero saperlo prima di avere un nuovo compagno di stanza. Quindi non esiste una regola dura e veloce.

— Jeremy Miles,

4

Tali domande (con una variabilità molto bassa) sono sbagliate come misure del tratto a cui appartengono. Ma a volte sono inclusi e utili per rintracciare gli intervistati bugiardo o shirker.

— ttnphns,

9

Sia la teoria del test classico (CTT) che la teoria della risposta agli oggetti (IRT) possono fornire indicazioni su quali elementi stanno contribuendo al tratto latente che si desidera misurare e quali no. Con CTT, considera 1) difficoltà dell'oggetto, 2) correlazione dell'oggetto al punteggio totale, 3) varianza dell'oggetto e 4) impatto sulle stime di coerenza interna (ad es. L'alfa di Cronbach) se l'elemento viene rimosso.

Gli articoli che sono troppo facili o troppo difficili tendono a non aiutare a separare il soggetto (discriminare tra marcatori alti e marcatori bassi). A meno che tu non sia interessato a misurare le differenze tra i migliori, le domande molto difficili dovrebbero essere prese in considerazione per la rimozione. Allo stesso modo, gli articoli molto facili sono adatti solo se sei interessato alle prestazioni di artisti con prestazioni basse.

Tutti gli elementi dovrebbero essere correlati positivamente con il punteggio totale e puoi impostare un limite inferiore per quella correlazione di circa 0,20 come guida. Correlazioni basse o correlazioni negative possono indicare che ci sono problemi di formulazione nel questionario e che la domanda deve essere invertita.

Gli articoli con bassa varianza (variabilità dei punteggi) devono essere considerati per la rimozione in quanto non separano i soggetti e non contribuiscono alle informazioni raccolte dal sondaggio. Gli oggetti con una varianza molto elevata potrebbero misurare qualcos'altro rispetto al costrutto / tratto che si desidera misurare.

Se la stima della coerenza interna migliora con l'elemento rimosso, l'elemento deve essere considerato per la rimozione o riformulato.

Gli articoli che tutti ottengono corretti sono a volte gli articoli massimi e quelli che tutti sbagliano sono a volte chiamati elementi minimi. Non contribuiscono alle informazioni che stai cercando di raccogliere.

Se stai sviluppando un questionario ad alto rischio o stai pianificando di commercializzare il questionario, dovresti assolutamente prendere in considerazione l'IRT. Tuttavia, è una vasta area tematica e, a meno che tu non sia veramente interessato, probabilmente non vale la pena occuparti qui.

Spero che sia di aiuto.

— doug.numbers
fonte

4

Credo che quello che stai cercando sia la teoria della risposta agli oggetti. Le domande "inutili" a cui ti riferisci sono elementi con scarsa discriminazione. Utilizzando l'analisi IRT è possibile calcolare la discriminazione, la difficoltà e la probabilità associata di indovinare gli articoli dai partecipanti al sondaggio. Il programma R ha un pacchetto semplice per usare IRT e immagino lo facciano anche altri pacchetti software statistici.

Se vuoi una rapida panoramica ecco la pagina di Wikipedia, ma ti consiglierei di ricercarla di più. http://en.wikipedia.org/wiki/Item_response_theory

— StatiStudent
fonte