Come trattare le risposte al sondaggio illogiche

Ho inviato un sondaggio a un campione di artisti. Una delle domande era di indicare la percentuale di reddito derivante da: attività artistica, sostegno del governo, pensione privata, attività non legate all'arte. Circa il 65% degli individui ha risposto in modo tale che la somma della percentuale sia 100. Gli altri no: ad esempio, c'è chi risponde che il 70% delle loro entrate deriva dalle sue attività artistiche e il 60% dal governo delle entrate , e così via. La mia domanda è: come devo trattare queste osservazioni? Devo eliminarli, modificarli o conservarli? Grazie!

Questa è una buona situazione per un'analisi di sensibilità. Analizza i tuoi dati in ciascuno dei tre modi seguenti:

1. Come sono
2. Dopo aver escluso "gli illogici", ovvero le persone le cui percentuali non si sommano a 100 (o 100 +/- 10)
3. Dopo aver regolato, se necessario, in modo che le percentuali di ogni persona arrivino a 100

Quindi confrontare i risultati, condividendo ogni logica che è possibile sviluppare su quali risultati potrebbero essere più accurati o più accurati sotto certi aspetti.

Puoi anche esaminare la gamma di modi in cui i logici e illogici differiscono, se presenti. Gli illogici tendono a segnalare redditi più alti? Per mostrare un maggiore supporto per alcune idee o programmi? Per saltare più domande? Per svelare più pregiudizi nel senso di una linea diretta o di una scelta sproporzionata di risposte medie o estreme?

Con circa 400 o questi illogici, hai abbastanza dati anche per valutare la relazione tra gradi di illogicità e grado di un determinato tipo di pregiudizio. Qualcosa come una relazione dose-risposta.

Ciò che apprendi da queste indagini potrebbe essere ricondotto al tuo piano per affrontare i illogici quando si tratta delle principali analisi di interesse.

Come già accennato qui , quelle risposte non sono necessariamente illogiche. Ad esempio, dici

Gli altri no: per esempio, c'è chi risponde che il 70% delle loro entrate deriva dalle sue attività artistiche e il 60% dal governo delle entrate, e così via.

Ciò ha perfettamente senso se il 30% delle entrate deriva da attività artistiche svolte per il governo. Quindi abbiamo davvero tre gruppi:

• Attività artistica, estranea al governo: 40%.
• Governo, estraneo all'attività artistica: 30%.
• Attività artistica sovvenzionata dal governo: 30%.

Quei numeri si sommano fino al 100%.

Considera le seguenti domande:

• I buoni alimentari sono governativi o attività non legate alle arti?
• La previdenza sociale è una pensione?
• Una pensione statale (ex dipendente statale) è una pensione o un governo privato?
• Una sovvenzione governativa è destinata a dipingere un'attività o un governo artistico pittorico?
• Un lavoro insegna arte presso un governo scolastico locale o attività o attività artistiche non correlate alle arti?
• Se si è ritirato da un lavoro nel campo delle arti (insegnamento o commerciale, ad esempio il disegno di buoni regalo), la pensione è un'attività privata o artistica? O nel caso dell'insegnamento, forse del governo?

Sembra che queste categorie si escludano a vicenda. Tuttavia, non penso che tutti li interpreterebbero in questo modo. Potresti avere delle idee chiare su come classificare tali attività, ma non è chiaro che i tuoi intervistati avevano in mente le stesse divisioni quando hanno risposto. Come minimo, se vuoi che i numeri aggiungano al 100%, dovresti dirlo alle persone.

Personalmente, penso che l'approccio migliore a questo tipo di problema sia quello di fare una specie di focus group. In un sondaggio tradizionale, potresti non essere in grado di convalidare le risposte. Quindi chiama o visita le persone che verrebbero prese di mira dal sondaggio e inizia una conversazione. Quindi quando danno risposte che non capisci, chiedi loro perché. Inoltre, chiedi loro come avresti dovuto porre la domanda in modo da ottenere il tipo di risultati che desideri. Funziona più come un focus group in quanto è interattivo.

Una volta che lo hai fatto, puoi avere un'idea migliore di come gestire le risposte che non si adattano al tuo formato. Ad esempio, potresti prendere il 30% in più e sottrarre metà da ciascuno. Quindi avresti il ​​55% di attività artistica e il 45% di governo. Oppure potresti categorizzare come attività artistica privata al 40%, attività artistica sponsorizzata dal governo al 30% e altro 30% (in questo caso, supporto del governo non correlato all'attività artistica, ad esempio buoni pasto o supporto per l'affitto). Oppure lancia il sondaggio e ripetilo, perché le persone non comprendono correttamente le tue categorie. Parte di ciò dipende dal significato delle categorie e dal modo in cui le hanno interpretate.

Troppo tardi adesso, ma per i sondaggi futuri, considera di fare un focus group regolare prima del sondaggio. Quindi puoi testare le tue domande nell'ambiente di gruppo e migliorarle. Potresti persino scoprire di ricevere ulteriori domande dal gruppo. Se è troppo difficile farlo di persona, considera di farlo online. Oppure fai un sondaggio di prova (di un numero inferiore di persone, convalidando le risposte con domande di follow-up) telefonicamente prima di fare il vero sondaggio. Ognuno di questi può aiutarti a chiarire le tue domande.

Ad esempio, forse le tue categorie reali avrebbero dovuto essere entrate private da attività artistica; attività artistica sponsorizzata dal governo; pensione privata da un precedente lavoro; altre entrate non correlate all'attività artistica. O qualcosa di diverso. Parte del problema è che non posso dire quello che vuoi, il che mi fa pensare che neanche i tuoi intervistati possano farlo. Se ci sono tre diverse interpretazioni, è quasi come se stessi mescolando le risposte di tre diversi sondaggi.

Non posso darti una risposta per il caso generale di risposte illogiche. Ma per questo specifico tipo di domanda - ci sono stato, fatto. Non solo in un sondaggio, ma anche in interviste semistrutturate, in cui ho avuto la possibilità di osservare come le persone escono con questo tipo di risposta. Sulla base di questo, oltre ad alcune esperienze generali nell'osservazione e nell'analisi dei processi cognitivi, suggerirei: normalizzare i dati fino a una somma del 100% . Il motivo è che le persone sembrano prima andare nella categoria più saliente - nel tuo caso, sarebbe il reddito più grande - dare una stima dell'intestino per questo in percentuale, quindi iniziare a pensare alle prossime categorie più piccole e basare la loro stima relativa all'ancoraggio della prima categoria, oltre a quello di ulteriori categorie già menzionate.

Ad esempio, un treno di pensieri andrà come: "La mia prima fonte di reddito è sicuramente più della metà. Rende cosa, il 60%? No, è troppo basso, diciamo il 65%. Il secondo è circa un terzo di quello , quindi sarebbe un po 'più del 20%, uh, difficile calcolarlo nella mia testa, arrotondiamo al 25%. Anche il terzo sembra un terzo del primo, ma in realtà è sempre un po' più del secondo, quindi dovrebbe essere il 30%. O addirittura il 35? No, andiamo con il 30. Oh, e ho dimenticato che ho una quarta fonte, che succede solo una volta all'anno, che dovrebbe essere davvero piccola rispetto alle altre, quindi 5 o 10%? Probabaly 5 è più vicino, non è poi così tanto ". E così finisci con una risposta di 65 + 25 + 30 + 5 = 125%.

Poiché le persone tendono ad essere più consapevoli delle dimensioni relative delle parti del reddito l'una rispetto all'altra rispetto a ciascuna parte rispetto al totale, direi che qui è normale normalizzarle, se si desidera eseguire una sorta di analisi numerica sul reddito . Lavorerei con i numeri effettivi riportati solo se la differenza tra le credenze e le affermazioni delle persone sul loro reddito e sulla realtà oggettiva è un argomento importante per il tuo lavoro, ad esempio se sei uno psicologo che studia pregiudizi cognitivi o se sei più interessato al percezione di sé degli artisti rispetto alle loro circostanze economiche.

Purtroppo, non ho una buona fonte letteraria per dimostrare che funziona davvero come l'ho descritto, è solo la mia osservazione empirica personale. Ma non credo che i revisori saranno coinvolti in questo tipo di decisione, poiché, come hanno affermato le altre risposte, non esiste un modo "giusto" per trattarlo. Semmai, elimineranno tutti i tuoi dati da questa domanda come non validi a causa di una tecnica di query difettosa. Il meglio che puoi fare è riconoscerlo preventivamente e trovare argomenti per cui il tuo lavoro è comunque utile e perché le conclusioni che stai tracciando sono ancora buone nonostante questa specifica fonte di inesattezza nei dati.

Se la scienza sociale mi ha insegnato qualcosa, è che se dai alle persone la possibilità di dare risposte logicamente incoerenti, lo faranno. Quindi stai tranquillo che non c'è nulla di insolito nei tuoi soggetti. Questo è qualcosa da tenere a mente per la progettazione di sondaggi futuri. Per il momento, potrebbe essere meglio lasciare le risposte così come sono e tenere presente nelle analisi che le risposte non sommeranno effettivamente fino al 100%, come si potrebbe pensare. Piuttosto che vere proporzioni, hai segnali rumorosi di quanto guadagno ogni soggetto ottiene da ciascuna categoria, quindi analizzali in quel modo.

attività artistica, sostegno del governo, pensione privata, attività non legate all'arte

A prima vista, sembra che "attività artistica" e "attività non legate all'arte" dovrebbero arrivare al 100%.

Naturalmente "l'attività non legata alle arti" non è la stessa di "non attività legata alle arti", poiché non vi è alcun reddito associato a nessuna attività. Ma questa è la divisione dei capelli che la maggior parte degli artisti non noterà.

Se si presume che le categorie 1 e 4 dovrebbero aggiungere fino al 100% e reinterpretare tali rispondenti di conseguenza, è possibile che la maggior parte di essi abbia incluso le categorie 2 e 3 nella categoria 4.

Tuttavia, tutto ciò è una manipolazione dei dati che non è l'ideale. Se desideri risposte statistiche accurate, devi raccogliere dati accurati. Le persone potrebbero mentire in risposta al tuo sondaggio, ed è difficile da evitare, ma se le persone che cercano onestamente di rispondere alle tue domande possono essere confuse su ciò che si intende, il tuo sondaggio deve essere riscritto.

La prossima volta rileggi il sondaggio per comprensibilità e ambiguità , prima di inviarlo.

Hai dato quattro categorie di reddito: che dire del reddito che non si trova in nessuna di esse? Ad esempio, i proventi da dividendi delle azioni detenute. Non è un reddito derivante da alcuna forma di attività, tuttavia non è nemmeno un sostegno del governo o una pensione. Suggerirei che in assenza di altre informazioni si debbano considerare le risposte corrette e attribuire il denaro mancante a fonti che gli intervistati non considerano coperte dalle categorie.

In realtà è abbastanza semplice (e nemmeno illogico come si potrebbe pensare)! Presumo che siano in realtà le proporzioni delle diverse categorie di reddito a cui stai chiedendo le percentuali. Quindi puoi semplicemente rinormalizzare al 100%. Nel tuo esempio: se qualcuno dice: il 70% delle mie entrate proviene da attività artistiche e il 60% proviene dal sostegno del governo, questa persona (che probabilmente non ha mai avuto alcuna formazione nel lavorare con le percentuali) sta effettivamente dicendo: il parente dimensioni delle o le proporzioni del mio reddito derivante da attività artistiche e dal governo circa 70-60 o 7-6 (probabilmente non realizzando che le percentuali dovrebbero sommare fino a 100 ..). Puoi convertire queste affermazioni sulle proporzioni in dichiarazioni sulle percentuali semplicemente rinormalizzandole, come segue: 70/130 * 100 = 53% di entrate artistiche e 60/130 * 100 = 47% di entrate di sostegno del governo.

(quello che faccio qui è in realtà prendere il 130% come un "nuovo" 100% e calcolare le proporzioni ..)

PS. questo funziona per tutti i casi in cui la somma delle percentuali dichiarate è diversa da 100

Spero che sia di aiuto!

La maggior parte delle risposte già fornite ha già fornito alcune informazioni sugli ovvi difetti metodologici dell'indagine, quindi non mi soffermerò su questo qui. Invece, fornirò alcune opzioni pratiche su come trattare questi dati dato che sono già raccolti e nonostante la domanda imperfetta. Ci sono alcuni modi per gestirlo. Puoi prendere in considerazione la possibilità di contrassegnare le risposte che non soddisfano la tua definizione di "risposte valide" trattando l'intera domanda come mancante e quindi seguendo un numero qualsiasi di pratiche per la gestione di articoli non rispondenti come quelli discussi qui .

Potresti anche considerare di ridimensionare ogni risposta in modo che le percentuali aumentino a 100. Supponendo che ogni risposta sia registrata come percentuale, questo può essere fatto ricodificando ogni risposta originale $y_{{old}_{ij}}$ $(j=1,2,3,4)$ dei 4 sottocomponenti alla tua domanda (attività artistica, sostegno del governo, pensione privata, attività non legate all'arte) in una nuova risposta $y_{{new}_{ij}}$ come segue:

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ Ad esempio, supponiamo che tu abbia avuto un intervistato $i$ che ha risposto come segue:

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

Quindi ricodificheresti come segue:

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

Si noti che tutte le nuove percentuali ora si aggiungono al 100%. Qualunque cosa tu faccia, assicurati di rendere molto chiare eventuali trasformazioni quando riferisci i tuoi risultati e penso che @ rolando2 abbia fornito ottimi consigli su come eseguire alcune analisi di sensibilità per vedere come trasformazioni come queste potrebbero influenzare le tue conclusioni.