Secondo la SAGE Encyclopedia of Social Science Metodi di ricerca ...
[a] l'effetto del soffitto si verifica quando una misura possiede un limite superiore distinto per le risposte potenziali e una grande concentrazione di partecipanti ottiene un punteggio pari o vicino a questo limite. L'attenuazione della scala è un problema metodologico che si verifica ogni volta che la varianza è limitata in questo modo. … Ad esempio, può verificarsi un effetto soffitto con una misura di atteggiamenti in cui un punteggio elevato indica un atteggiamento favorevole e la risposta più elevata non riesce a catturare la valutazione più positiva possibile. ... La migliore soluzione al problema degli effetti del soffitto è il test pilota, che consente di identificare il problema in anticipo . Se viene rilevato un effetto soffitto , [e] la misura del risultato è l'esecuzione dell'attività, l'attività può essere resa più difficile per aumentare la gamma di risposte potenziali. 1 [enfasi aggiunta]
Sembra che ci sia un sacco di consigli e domande ( e qui ) che si occupano di analisi dei dati che mostrano gli effetti del soffitto simile a quello descritto nella citazione di cui sopra.
La mia domanda può essere semplice o ingenua, ma come si può effettivamente rilevare che un effetto soffitto è presente nei dati? Più specificamente, supponiamo che venga creato un test psicometrico che si sospetti porti a un effetto soffitto (solo esame visivo) e che quindi il test venga rivisto per produrre una gamma più ampia di valori. Come si può dimostrare che il test rivisto ha rimosso l'effetto soffitto dai dati che genera? Esiste un test che dimostra che esiste un effetto soffitto nel set di dati a ma nessun effetto soffitto nel set di dati b ?
Il mio approccio ingenuo sarebbe quello di esaminare solo l'inclinazione della distribuzione e, se non è inclinata, concludere che non vi è alcun effetto limite. È troppo semplicistico?
modificare
Per aggiungere un esempio più concreto, supponiamo che io sviluppi uno strumento che misura alcuni tratti latenti x che aumenta con l'età ma alla fine si riduce e inizia a diminuire con l'età. Faccio la prima versione, che ha un intervallo compreso tra 1 e 14, faccio un po 'di pilotaggio e trovo che possa esserci un effetto soffitto (un gran numero di risposte a 14 o quasi, il massimo .. Concludo solo con guardando i dati, ma perché? Esiste un metodo rigoroso per supportare tale affermazione?
Quindi rivedo la misura per avere un intervallo compreso tra 1 e 20 e raccolgo più dati. Vedo che la tendenza corrisponde più da vicino alle mie aspettative, ma come faccio a sapere che l'intervallo di misurazione è abbastanza ampio. Devo rivederlo di nuovo? Visivamente, sembra essere ok, ma c'è un modo per testarlo per confermare i miei sospetti?
Voglio sapere come posso rilevare questo effetto del soffitto nei dati piuttosto che guardarlo. I grafici rappresentano dati reali, non teorici. L'ampliamento della gamma dello strumento ha creato una migliore diffusione dei dati, ma è sufficiente? Come posso provarlo?
1 Hessling, R., Traxel, N., & Schmidt, T. (2004). Effetto soffitto. In Michael S. Lewis-Beck, A. Bryman e Tim Futing Liao (a cura di), The SAGE Encyclopedia of Social Science Research Methods . (p. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102