Una sesta opzione di risposta ("Non lo so") è stata aggiunta a una scala Likert a 5 punti. I dati sono persi?

Ho bisogno di un po 'di aiuto per recuperare i dati da un questionario.

Uno dei miei colleghi ha applicato un questionario, ma inavvertitamente, invece di utilizzare la scala Likert a 5 punti originale (in forte disaccordo per essere fortemente d'accordo), ha inserito una sesta risposta nella scala. E, a peggiorare la questione, la sesta opzione di risposta è ... "Non lo so".

Il problema è la grande percentuale di intervistati che, in un punto o nell'altro, hanno scelto "Non lo so". Se fossero una percentuale ragionevolmente piccola, li avrei appena esclusi dal database. Tuttavia, il nucleo della ricerca si basa su un modello concettuale, ed escludere così tanti record creerebbe un problema per il modello.

Qualcuno potrebbe indicarmi la giusta direzione qui? Esistono "buone pratiche" o posso fare qualcosa per utilizzare (trasformare, convertire, ecc.) Quelle risposte "Non lo so"?

Inoltre, se faccio qualsiasi manipolazione dei dati in questione (ad esempio, se converto le risposte "Non so", per sostituzione, imputazione, ecc.), Che tipo di "disclaimer", "avviso", annotazione, dovrei usare?

So che è un tiro lungo, ma confesso, oltre a salvare le risposte, sono anche curioso di sapere quale sia la pratica concordata (se ce n'è una), in questo tipo di casi.

PS: So che sembra infantile, ma no, il "collega" non sono io :)

Perché provare a forzare una calibrazione su qualcosa che non è vero? Come ha detto Maarten, questa non è una perdita di dati ma un guadagno di informazioni. Se la pillola magica che stai cercando esiste, significherebbe che ci sono alcune ipotesi sulla tua popolazione che sono fatte, ad esempio, una propensione a favore di una particolare etichetta anche se gli utenti dicono "Non lo so".

Capisco perfettamente la tua frustrazione, ma il modo corretto di affrontare il problema è quello di modificare il modello per adattarlo alle tue esigenze in base ai dati realmente esistenti e non viceversa (modifica dei dati).

Se si trattava di un questionario standardizzato che è stato validato in modo indipendente, non è possibile affermare che il nuovo questionario è equivalente e che i dati non sono più comparabili. Potresti provare a convalidare ed esaminare il questionario in esperimenti separati (che richiedono molto tempo e fatica, specialmente se vuoi anche mostrare la comparabilità con la vecchia versione) o semplicemente accettare che stai trattando una qualità di prova inferiore (poiché i tuoi dati vengono da un questionario non validato).

Quando utilizzi i tuoi dati, dovrai prendere in considerazione la modifica. Di fronte a una domanda sull'atteggiamento, le persone non ti danno in qualche modo una risposta "oggettivamente vera", ti danno la risposta che ritengono vera - e questo è certamente influenzato da entrambe le opzioni di risposta disponibili ("normano" le loro risposte alla scala) e alla conoscenza che hanno sull'argomento (ci sono pregiudizi noti che funzionano in modo diverso, a volte in direzioni diverse (!) a seconda che il partecipante abbia molta o poca conoscenza sull'argomento).

Quindi, se abbiamo a che fare con un quesitonnaire affermato, hai la bella opzione per un confronto tra la tua versione del questionario e quella originale. Se l'originale supponeva che le persone sapessero cosa stavano selezionando e si scopre che non lo fanno, puoi discutere di come il vecchio modello si basa su ipotesi errate e quali sono le conseguenze di ciò. Nota che questa è una scoperta "laterale", che fa una bella nuova domanda di ricerca, ma ti allontana da quello originale, e in effetti mostra che rispondere a quello originale è molto più difficile di quanto si pensi, quindi moltiplica il tuo lavoro.

Se non hai a che fare con un questionario stabilito, puoi seguire il flusso e far finta che il tuo questionario ad hoc sia stato pianificato in quel modo e valutare i risultati di conseguenza. Ancora una volta, potrebbe significare che i risultati sperati non sono ottenibili con questo metodo, ma anche questa è una cosa importante da sapere.

Per una buona comprensione di come la formulazione e le opzioni influenzano il modo in cui i questionari ricevono risposta, suggerisco di leggere la "Psicologia della risposta al sondaggio" di Tourangeau et al. È un'ottima lettura per chiunque abbia mai creato un questionario.

Se chiedi a quanti bambini ha dato alla luce l'intervistato, le risposte "zero" e "non applicabile" non significherebbero strettamente la stessa cosa, dal momento che gli uomini non possono partorire.

Per alcuni contesti, equiparare "Non so" alla risposta neutra potrebbe essere, allo stesso modo, un errore concettuale.

In realtà, hai due domande: un dicotomico "Hai un'opinione?" e un ordinale "Che cos'è?", proprio come, sopra, hai un implicito "Sei una femmina?" oltre la tua domanda esplicita.

Certo, puoi introdurre alcune ipotesi (a volte correttamente, a volte solo per comodità, a volte forzatamente) per consentirti di modellare, ma non riesco a vedere alcuna strategia universalmente applicabile senza entrare nel regno dei dettagli del tuo fenomeno.

Come ultimo punto a cui pensare, non avrebbe senso cercare di dedurre dalla popolazione maschile qualcosa dalle risposte sulla fecondità femminile.

Il dilemma se si dovrebbe includere o meno l'opzione Non so response in un questionario costituito da scale di valutazione di tipo Likert è eterno. Spesso, quando gli articoli chiedono un'opinione, il DK è incluso perché non avere un'opinione è uno stato importante da solo e l'opzione in quanto tale è attesa dai rispondenti. Negli inventari dei tratti personali in cui le persone attribuiscono qualità a un'opzione DK target, in genere viene eliminata perché un intervistato normalmente dovrebbe essere in grado di valutare l'entità dell'affinità di una caratteristica (ovvero il rispondente viene sempre considerato qualificato); e quando trova occasionalmente difficoltà gli è permesso (per istruzione) di saltare quell'oggetto. Negli inventari dei tratti personali in cui le persone descrivono un target (oggetti comportamentali) DK (o don '

@Hatim nella sua risposta, @Maarten e alcuni altri commentatori della domanda del PO hanno ragionevolmente sostenuto che una grande quantità di risposte DK osservate nel presente studio indicano problemi (validità del contenuto o validità del viso) negli articoli o che i soggetti non si adatta al questionario ordinato loro.

Ma non puoi mai raccontare la storia, in definitiva l'interpretazione dell'impedimento è su di te (a meno che non la affronti in un'indagine separata). Si potrebbe affermare, ad esempio, che l'inclusione dell'opzione DK tra i probabili in quel questionario (diciamo, è un inventario di attribuzione del tratto) serve male, non bene. Non ti ha dato informazioni (di cui dicono i commentatori it proves that the [rating] model is inadequate), ma piuttosto ha distratto / sedotto un intervistato. Se non fosse stata fornita, la decisione di valutazione guidata dallo schema implicito del tratto cognitivo avrebbe potuto essere evocata; ma vedere l'opzione di raffreddamento preclude lo schema e si affretta a ritirarsi.

Se lo ammetti ulteriormente - a tuo rischio, ma perché no? - che un soggetto facilmente distratto o pigro è quello il cui potenziale, la visione trattenuta è valida ma tende a essere debolmente differenziata - cioè, invocherebbe facilmente il convenzionale das Man , al posto di Erlebnis personale , schema - quindi potresti ipotizzare provvisoriamente che la sua risposta mancante è intorno alla media del campione o della popolazione per quell'elemento. In tal caso, perché non significhi (+ rumore) la sostituzione delle risposte mancanti? Oppure potresti fare un'imputazione EM o regressiva (+ rumore) per tenere conto delle correlazioni.

Ripetere: la decisione di imputazione è possibile ma rischiosa ed è improbabile, data la grande quantità di dati mancanti, ripristinare "veramente" i dati assenti. Come diceva @rumtscho, sicuramente il nuovo questionario con DK non è equivalente a quello originale senza DK e i dati non sono più comparabili.

Queste erano speculazioni. Ma prima di tutto, dovresti tentare di indagare sui modelli osservati di mancanza. Chi sono quei soggetti che hanno selezionato DK? Si raggruppano in sottotipi? In che modo differiscono sul resto degli articoli dal sottocampione "okay"? Alcuni software hanno un pacchetto di analisi del valore mancante. Quindi potresti decidere se eliminare le persone in tutto o in parte, oppure imputarle o analizzarle come sottocampione separato.

PS Si noti inoltre che gli intervistati sono "stupidi". Spesso si confondono con i gradi della scala. Ad esempio, se il punto DK fosse posizionato vicino a un polo della scala, verrebbe spesso confuso dalla disattenzione con quel polo. Non sto scherzando.

Ora hai intervistati auto-selezionati per avere un'opinione in merito. Qualunque cosa tu concluda riguarderà esclusivamente quelle persone. Questo potrebbe essere OK, dato che il polling di "non lo so" è per definizione meno utile.